Um método de regularização para modelos de regressão que combina as penalidades do laço e da regressão de crista.
A regularização líquida elástica é sempre preferida à Lasso & Ridge, pois parece resolver as desvantagens desses métodos? Qual é a intuição e qual é a matemática por trás da rede
Como os métodos de regularização de cume, LASSO e elasticnet se comparam? Quais são as respectivas vantagens e desvantagens? Qualquer bom artigo técnico ou anotações de aula também serão apreciados.
Eu uso a função auto.arima () no pacote de previsão para ajustar os modelos ARMAX a uma variedade de covariáveis. No entanto, muitas vezes tenho um grande número de variáveis para selecionar e geralmente termino com um modelo final que funciona com um subconjunto delas. Não gosto de técnicas...
Eu gostaria de usar o GLM e o Elastic Net para selecionar esses recursos relevantes + criar um modelo de regressão linear (ou seja, previsão e entendimento, para que seja melhor ficar com relativamente poucos parâmetros). A saída é contínua. São genes por casos. Eu tenho lido sobre o pacote, mas...
L =1n∥∥y-Xβ∥∥2+ λ1 1∥ β∥1 1+ λ2∥ β∥22,eu=1 1n__y-Xβ__2+λ1 1__β__1 1+λ2__β__22,\mathcal L = \frac{1}{n}\big\lVert y - X\beta\big\rVert^2 + \lambda_1\lVert \beta\rVert_1 + \lambda_2 \lVert \beta\rVert^2_2,β^∗= ( 1 + λ2) β^.β^∗=(1 1+λ2)β^.\hat\beta^* = (1+\lambda_2)\hat\beta. Entretanto, o...
Entendo qual o papel do lambda em uma regressão com rede elástica. E eu posso entender por que alguém selecionaria lambda.min, o valor de lambda que minimiza o erro validado cruzado. Minha pergunta é: Onde na literatura estatística é recomendado usar lambda.1se, que é o valor de lambda que...
Algumas funções e aproximações de penalidade são bem estudadas, como o LASSO ( ) e o Ridge ( ) e como elas se comparam na regressão.L 2L1L1L_1L2L2L_2 Eu tenho lido sobre a penalidade de Bridge, que é a penalidade generalizada . Compare isso com o LASSO, que possui \ gama = 1 , e o Ridge, com \...
Introdução: Eu tenho um conjunto de dados com um clássico "grande p, pequeno n problema". O número de amostras disponíveis n = 150, enquanto o número de possíveis preditores p = 400. O resultado é uma variável contínua. Eu quero encontrar os descritores mais "importantes", ou seja, aqueles que...
Estou executando uma regressão logística de rede elástica em um conjunto de dados de assistência médica usando o glmnetpacote em R selecionando valores lambda em uma grade de de 0 a 1. Meu código abreviado está abaixo:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist,...
Estou realmente interessado no procedimento de rede elástica para retração / seleção de preditores. Parece muito poderoso. Mas, do ponto de vista científico, não sei bem o que fazer quando obtive os coeficientes. Que pergunta estou respondendo? Essas são as variáveis que mais influenciam esse...
A pergunta O que concluir deste gráfico de laço (glmnet) demonstra os caminhos da solução para o estimador de laço que não é monotônico. Ou seja, alguns dos cofficients crescem em valor absoluto antes de encolherem. Eu apliquei esses modelos a vários tipos diferentes de conjuntos de dados e nunca...
É sabido que a regressão linear com uma penalidade de é equivalente a encontrar a estimativa de MAP dada uma Gaussiana antes dos coeficientes. Da mesma forma, usar uma penalidade de é equivalente a usar uma distribuição de Laplace como a anterior.eu2eu2l^2eu1eu1l^1 Não é incomum usar alguma...
Estou tentando identificar o melhor modelo para prever os preços dos automóveis, usando os preços e os recursos disponíveis em sites de anúncios classificados para automóveis. Para isso, usei alguns modelos da biblioteca scikit-learn e modelos de redes neurais do pybrain e neurolab. A abordagem...
Conheço os benefícios da regularização ao criar modelos preditivos (viés versus variação, impedindo o ajuste excessivo). Mas, estou me perguntando se é uma boa idéia também fazer regularização (laço, cume, rede elástica) quando o principal objetivo do modelo de regressão é a inferência nos...
Eu tenho um conjunto de 150 recursos, e muitos deles estão altamente correlacionados entre si. Meu objetivo é prever o valor de uma variável discreta, cujo intervalo é de 1 a 8 . O tamanho da minha amostra é 550 e estou usando a validação cruzada 10 vezes . AFAIK, entre os métodos de regularização...
Quais são os prós e os contras do uso do LARS [1] versus o uso da descida de coordenadas para ajustar a regressão linear regularizada por L1? Estou interessado principalmente em aspectos de desempenho (meus problemas tendem a ter Nentre centenas e milhares e p<20.) No entanto, quaisquer outras...
Nota: esta pergunta é um repost, pois minha pergunta anterior teve que ser excluída por razões legais. Ao comparar o PROC MIXED do SAS com a função lmedo nlmepacote no R, deparei-me com algumas diferenças bastante confusas. Mais especificamente, os graus de liberdade nos diferentes testes...
LASSO e LASSO adaptável são duas coisas diferentes, certo? (Para mim, as penalidades parecem diferentes, mas estou apenas verificando se sinto falta de alguma coisa.) Quando você geralmente fala sobre redes elásticas, o caso especial é LASSO ou LASSO adaptável? Qual é o pacote glmnet, desde que...
Existem bons papéis ou livros que tratam do uso da descida de coordenadas para L1 (laço) e / ou regularização líquida elástica para problemas de regressão
Alguém tentou verificar se o ajuste de um modelo Elastic Net ElasticNetno scikit-learn no Python e glmnetno R no mesmo conjunto de dados produz resultados aritméticos idênticos? Eu tenho experimentado muitas combinações de parâmetros (já que as duas funções diferem nos valores padrão que passam...