Estou tentando ver se é necessário regressão de crista , LASSO , regressão de componente principal (PCR) ou mínimos quadrados parciais (PLS) em uma situação em que há um grande número de variáveis / recursos ( ) e menor número de amostras ( ), e meu objetivo é a previsão.pppn<pn<pn...
Eu li os livros mais populares da aprendizagem estatística 1- Os elementos da aprendizagem estatística. 2- Uma introdução à aprendizagem estatística . Ambos mencionam que a regressão de crista tem duas fórmulas equivalentes. Existe uma prova matemática compreensível desse resultado? Também...
Eu sou novo no glmnetpacote e ainda não tenho certeza de como interpretar os resultados. Alguém poderia me ajudar a ler o seguinte gráfico de rastreamento? O gráfico foi obtido executando o seguinte: library(glmnet) return <- matrix(ret.ff.zoo[which(index(ret.ff.zoo)==beta.df$date[2]), ]) data...
Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 3 anos . Estou construindo uma regressão logística em...
Existem resultados analíticos ou artigos experimentais sobre a escolha ideal do coeficiente do termo de penalidade . Por ótimo , quero dizer um parâmetro que maximiza a probabilidade de selecionar o melhor modelo ou que minimiza a perda esperada. Estou perguntando porque muitas vezes é impraticável...
Fiquei me perguntando, por que os métodos de seleção de modelos LASSO e LARS são tão populares, mesmo que sejam basicamente apenas variações da seleção direta passo a passo (e, portanto, sofram da dependência do caminho)? Da mesma forma, por que os métodos General to Specific (GETS) para seleção...
Gostaria de criar uma floresta aleatória usando o seguinte processo: Construa uma árvore em amostras aleatórias dos dados e recursos usando o ganho de informações para determinar as divisões Encerre um nó folha se exceder uma profundidade predefinida OU qualquer divisão resultaria em uma contagem...
Meu entendimento geral é que a AIC lida com o compromisso entre a qualidade do ajuste do modelo e a complexidade do modelo. A IC= 2 k - 2 l n ( L )UMAEuC=2k-2eun(eu)AIC =2k -2ln(L) kkk = número de parâmetros no modelo eueuL = probabilidade O critério de informação bayesiano BIC está intimamente...
Qual é a complexidade temporal assintótica da regressão de Lasso à medida que o número de linhas ou colunas
Defina a estimativa do laço onde a i ^ {th} linha x_i \ in \ mathbb {R} ^ p da matriz de design X \ in \ mathbb {R} ^ {n \ times p} é um vetor de covariáveis para explicar a resposta estocástica y_i (para i = 1, \ pontos n
Quais são os prós e os contras do uso do LARS [1] versus o uso da descida de coordenadas para ajustar a regressão linear regularizada por L1? Estou interessado principalmente em aspectos de desempenho (meus problemas tendem a ter Nentre centenas e milhares e p<20.) No entanto, quaisquer outras...
Gostaria de obter os coeficientes para o problema do LASSO | | Y- Xβ| | +λ | | β| |1.||Y-Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. O problema é que as funções glmnet e lars dão respostas diferentes. Para a função glmnet, peço os coeficientes deem vez de apenas , mas ainda recebo respostas...
A Tabela 18.1 nos Elementos de aprendizagem estatística resume o desempenho de vários classificadores em um conjunto de dados de 14 classes. Estou comparando um novo algoritmo com o laço e a rede elástica para esses problemas de classificação em várias classes. Usando glmnetversão 1.5.3 (R 2.13.0)...
Existem vários artigos pesados em matemática que descrevem o laço bayesiano, mas eu quero testar o código JAGS correto que eu possa usar. Alguém poderia postar um exemplo de código BUGS / JAGS que implementa regressão logística regularizada? Qualquer esquema (L1, L2, Elasticnet) seria ótimo, mas...
Estou usando o pacote 'lars' em R com o seguinte código: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x <-...
Uma das motivações para a rede elástica foi a seguinte limitação do LASSO: No caso p>np>np > n , o laço seleciona no máximo n variáveis antes de saturar, devido à natureza do problema de otimização convexa. Esse parece ser um recurso limitante para um método de seleção de variáveis. Além...
Eu li que o laço de grupo é usado para seleção de variáveis e esparsidade em um grupo de variáveis. Eu quero saber a intuição por trás dessa afirmação. Por que o laço de grupo é preferível ao laço? Por que o caminho da solução do laço de grupo não é linear por...
\newcommand{\diag}{\operatorname{diag}} Temos o problema: supondo que: \ sum_ {i = 1} ^ nx_ix_i ^ T = \ diag (\ sigma_1 ^ 2, ..., \ sigma_d ^ 2).minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle...
Estou procurando algum código-fonte aberto ou uma biblioteca existente que eu possa usar. Tanto quanto eu digo, o pacote glmnet não é muito facilmente extensível para cobrir o caso não negativo. Posso estar errado, qualquer pessoa com alguma idéia muito apreciada. Por não negativo, quero dizer que...
Estou lendo sobre a melhor seleção de subconjunto no livro Elementos do aprendizado estatístico. Se eu tiver 3 preditores x1,x2,x3x1,x2,x3x_1,x_2,x_3 , crio 23=823=82^3=8 subconjuntos: Subconjunto sem preditores subconjunto com o preditorx1x1x_1 subconjunto com o preditorx2x2x_2 subconjunto com...