Eu já tenho uma idéia sobre prós e contras da regressão de cume e do LASSO. Para o LASSO, o termo de penalidade de L1 produzirá um vetor de coeficiente esparso, que pode ser visto como um método de seleção de recurso. No entanto, existem algumas limitações para o LASSO. Se os recursos tiverem alta...
Alguém tentou verificar se o ajuste de um modelo Elastic Net ElasticNetno scikit-learn no Python e glmnetno R no mesmo conjunto de dados produz resultados aritméticos idênticos? Eu tenho experimentado muitas combinações de parâmetros (já que as duas funções diferem nos valores padrão que passam...
Eu estava lendo este artigo relacionado à rede elástica. Eles dizem que usam rede elástica porque, se usarmos o Lasso, tende a selecionar apenas um preditor entre os preditores altamente correlacionados. Mas não é isso que queremos. Quero dizer, isso nos salva dos problemas da multicolinearidade,...
Como o título indica, estou tentando replicar os resultados do glmnet linear usando o otimizador LBFGS da biblioteca lbfgs. Esse otimizador nos permite adicionar um termo regularizador L1 sem ter que nos preocupar com diferenciabilidade, desde que nossa função objetivo (sem o termo regularizador...
Em várias respostas, vi usuários CrossValidated sugerirem que o OP encontre artigos iniciais sobre Lasso, Ridge e Elastic Net. Para a posteridade, quais são as obras seminais sobre Lasso, Ridge e Elastic Net?
\def\l{|\!|} Dada a regressão líquida elástica minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 como um intervalo apropriado de λλ\lambda ser escolhido para validação...
Modelos penalizados podem ser usados para estimar modelos em que o número de parâmetros é igual ou até maior que o tamanho da amostra. Essa situação pode surgir em modelos log-lineares de grandes tabelas esparsas de dados categóricos ou de contagem. Nessas configurações, geralmente também é...
Portanto, tenho 16 ensaios em que estou tentando autenticar uma pessoa de uma característica biométrica usando a Distância de Hamming. Meu limite está definido como 3,5. Meus dados estão abaixo e apenas o teste 1 é um verdadeiro positivo: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6...
Quais são as desvantagens do uso de rede elástica em comparação com o laço. Eu sei que a rede elástica é capaz de selecionar grupos de variáveis quando elas são altamente correlacionadas. Não tem o problema de selecionar mais de nnn preditores quando p≫np≫np \gg n. Considerando que o laço...
Estou confuso sobre a maneira correta de escrever a rede elástica. Depois de ler alguns trabalhos de pesquisa, parece haver três formas 1)exp{ - λ1| βk| - λ2β2k}exp{-λ1|βk|-λ2βk2}\exp\{-\lambda_1|\beta_k|-\lambda_2\beta_k^2\} 2)exp{ - ( λ1| βk| +
O laço e a rede elástica não são capazes de lidar com variáveis com mais de duas categorias e, portanto, uma divisão de variáveis categóricas em manequins é necessária para a aplicação desses métodos. Isso pode resultar em vários problemas e, portanto, existem extensões para o laço para o laço...
Eu me pergunto sobre a finura ideal da grade e qual é a relação entre a finura da grade e a super adaptação em métodos de regularização como LASSO, regressão de crista ou rede elástica. Suponha que eu queira ajustar um modelo de regressão usando LASSO a uma amostra de 500 observações (não...
Estou implementando a versão GLMNET da rede elástica para regressão linear com outro software que não o R. Comparei meus resultados com a função R glmnet no modo de laço nos dados de diabetes . A seleção da variável é boa ao variar o valor do parâmetro (lambda), mas obtenho valores ligeiramente...
Considere regressão líquida elástica com glmnetparametrização semelhante à função de perdaL=12n∥∥y−β0−Xβ∥∥2+λ(α∥β∥1+(1−α)∥β∥22/2).L=12n‖y−β0−Xβ‖2+λ(α‖β‖1+(1−α)‖β‖22/2).\mathcal L = \frac{1}{2n}\big\lVert y - \beta_0-X\beta\big\rVert^2 + \lambda\big(\alpha\lVert \beta\rVert_1 + (1-\alpha) \lVert...
Se bem entendi, o glmnet usa descida cíclica de coordenadas não apenas para redes de laço e elástico, mas também para regressão de Ridge. Por que ele usa esse algoritmo, que às vezes fornece resultados ligeiramente imprecisos, quando existe de fato uma solução fácil de formulário fechado...