Estou executando um modelo de regressão com Lasso e Ridge (para prever uma variável de resultado discreto variando de 0 a 5). Antes de executar o modelo, uso o SelectKBestmétodo de scikit-learnpara reduzir o conjunto de recursos de 250 para 25 . Sem uma seleção inicial de recursos, Lasso e Ridge...
Enquanto isso, estou estudando o LASSO ( operador menos absoluto de encolhimento e seleção). Vejo que o valor ideal para o parâmetro de regularização pode ser escolhido por validação cruzada. Vejo também na regressão de cume e em muitos métodos que aplicam a regularização, podemos usar o CV para...
Eu já tenho uma idéia sobre prós e contras da regressão de cume e do LASSO. Para o LASSO, o termo de penalidade de L1 produzirá um vetor de coeficiente esparso, que pode ser visto como um método de seleção de recurso. No entanto, existem algumas limitações para o LASSO. Se os recursos tiverem alta...
Estou tentando fazer a seleção do modelo em alguns candidatos a preditores usando o LASSO com um resultado contínuo. O objetivo é selecionar o modelo ideal com o melhor desempenho de previsão, o que geralmente pode ser feito através da validação cruzada K-fold após a obtenção do caminho da solução...
Estou ajustando um modelo linear em R usando glmnet. O modelo original (não regularizado) foi ajustado usando lme não tinha um termo constante (ou seja, estava na forma lm(y~0+x1+x2,data)). glmnetleva uma matriz de preditores e um vetor de respostas. Eu tenho lido a glmnetdocumentação e não...
Estou procurando uma resposta intuitiva por que um modelo GLM LASSO seleciona um preditor específico de um grupo de modelos altamente correlacionados e por que o faz de maneira diferente da melhor seleção de recurso de subconjunto. A partir da geometria do LASSO mostrada na Figura 2 em Tibshirani...
Meu entendimento da regressão do LASSO é que os coeficientes de regressão são selecionados para resolver o problema de minimização: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t Na prática, isso é feito usando um multiplicador de...
Eu estava lendo este artigo relacionado à rede elástica. Eles dizem que usam rede elástica porque, se usarmos o Lasso, tende a selecionar apenas um preditor entre os preditores altamente correlacionados. Mas não é isso que queremos. Quero dizer, isso nos salva dos problemas da multicolinearidade,...
Eu obtive três modelos reduzidos de um modelo completo original usando seleção para a frente eliminação para trás Técnica de penalização L1 (LASSO) Para os modelos obtidos usando seleção direta / eliminação reversa, obtive a estimativa validada cruzada do erro de previsão usando o CVlmpacote...
Minha situação: tamanho pequeno da amostra: 116 variável de resultado binário lista longa de variáveis explicativas: 44 variáveis explicativas não vieram do alto da minha cabeça; sua escolha foi baseada na literatura. a maioria dos casos na amostra e a maioria das variáveis têm valores...
Estive recentemente em algumas conversas sobre estatísticas sobre o Lasso (regularização) e um ponto que continua surgindo é que não entendemos realmente por que o Lasso funciona ou por que funciona tão bem. Gostaria de saber a que esta declaração se refere. Obviamente, eu entendo por que o Lasso...
Sei que isso prejudicaria a inferência estatística, mas estou realmente preocupado apenas em chegar o mais próximo possível de um modelo preciso. Eu tenho uma variável de resultado dicotômica, com um grande conjunto de preditores dicotômicos. Penso que gostaria de tentar usar o LASSO para...
Em várias respostas, vi usuários CrossValidated sugerirem que o OP encontre artigos iniciais sobre Lasso, Ridge e Elastic Net. Para a posteridade, quais são as obras seminais sobre Lasso, Ridge e Elastic Net?
Como executar regressão não negativa da crista? Laço não negativo está disponível em scikit-learn, mas para cume, não posso impor a não-negatividade de betas e, de fato, estou obtendo coeficientes negativos. Alguém sabe por que isso é? Além disso, posso implementar cume em termos de mínimos...
Na minha aula de aprendizado de máquina, aprendemos sobre como a regressão LASSO é muito boa para executar a seleção de recursos, uma vez que faz uso da regularização .l1l1l_1 Minha pergunta: as pessoas normalmente usam o modelo LASSO apenas para fazer a seleção de recursos (e depois despejam...
Se eu tiver uma matriz de design , em que é o número de observações da dimensão , qual é a complexidade da solução para com LASSO, wrt e ? Acho que a resposta deve se referir a como uma iteração do LASSO é escalonada com esses parâmetros, e não como o número de iterações (convergência), a menos que...
Eu estou querendo saber como abordar adequadamente o treinamento e o teste de um modelo LASSO usando glmnet no R? Especificamente, estou pensando em como fazer isso, se a falta de um conjunto de dados de teste externo exigir que eu use a validação cruzada (ou outra abordagem semelhante) para...
[Uma pergunta semelhante foi feita aqui sem respostas] Eu ajustei um modelo de regressão logística com regularização L1 (regressão logística Lasso) e gostaria de testar os coeficientes ajustados quanto à significância e obter seus valores-p. Sei que os testes de Wald (por exemplo) são uma opção...
Suponha que eu tenha dados longitudinais da forma (eu tenho várias observações, essa é apenas a forma de uma única). Estou interessado em restrições sobre Σ . Um irrestrita Σ é equivalente a Y j = α j + j - 1 Σ ℓ = 1 & Phi; ℓ j Y j - ℓ + ε jY =( Y1, ... , YJ) ∼ N( μ , Σ...
Estou trabalhando em um modelo de custo preditivo em que a idade do paciente (uma quantidade inteira medida em anos) é uma das variáveis preditivas. Uma forte relação não linear entre idade e risco de internação é evidente: Estou pensando em uma spline de suavização de regressão penalizada...