Recentemente, descobri que na literatura econométrica aplicada, ao lidar com problemas de seleção de características, não é incomum executar o LASSO seguido de uma regressão OLS usando as variáveis selecionadas. Fiquei me perguntando como podemos qualificar a validade de tal procedimento....
Todos nós estamos familiarizados com a noção, bem documentada na literatura, de que a otimização do LASSO (por uma questão de simplicidade limita a atenção aqui ao caso da regressão linear) l o s s =∥y- Xβ∥22+ λ ∥ β∥1euoss=__y-Xβ__22+λ__β__1 {\rm loss} = \| y - X \beta \|_2^2 + \lambda \| \beta...
A seguir, é apresentado o gráfico do glmnet com alfa padrão (1, portanto, laço) usando o mtcarsconjunto de dados em R com mpgo DV e outros como variáveis preditoras. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) O que podemos concluir desse gráfico em relação a diferentes variáveis,...
Estou realmente interessado no procedimento de rede elástica para retração / seleção de preditores. Parece muito poderoso. Mas, do ponto de vista científico, não sei bem o que fazer quando obtive os coeficientes. Que pergunta estou respondendo? Essas são as variáveis que mais influenciam esse...
Os métodos de seleção de variáveis algorítmicas passo a passo tendem a selecionar modelos que enviesam mais ou menos todas as estimativas em modelos de regressão ( ββ\beta s e seus SEs, valores de p , estatísticas F , etc.) e têm a probabilidade de excluir preditores verdadeiros como incluir...
Em um cenário de regressão do LASSO, em que y= Xβ+ ϵy=Xβ+ϵy= X \beta + \epsilon , e as estimativas do LASSO são fornecidas pelo seguinte problema de otimização minβ| | y- Xβ| | +τ| | β| |1minβ||y-Xβ||+τ||β||1 \min_\beta ||y - X \beta|| + \tau||\beta||_1 Existem suposições distributivas em...
A pergunta O que concluir deste gráfico de laço (glmnet) demonstra os caminhos da solução para o estimador de laço que não é monotônico. Ou seja, alguns dos cofficients crescem em valor absoluto antes de encolherem. Eu apliquei esses modelos a vários tipos diferentes de conjuntos de dados e nunca...
Conheço os benefícios da regularização ao criar modelos preditivos (viés versus variação, impedindo o ajuste excessivo). Mas, estou me perguntando se é uma boa idéia também fazer regularização (laço, cume, rede elástica) quando o principal objetivo do modelo de regressão é a inferência nos...
Estou executando um LASSO que possui alguns preditores de variáveis categóricos e outros contínuos. Eu tenho uma pergunta sobre as variáveis categóricas. O primeiro passo que entendo é dividir cada um deles em manequins, padronizá-los para uma penalização justa e depois regredir. Várias opções...
Estou usando o Lasso para seleção de recursos em uma configuração dimensional relativamente baixa (n >> p). Depois de ajustar um modelo Lasso, quero usar as covariáveis com coeficientes diferentes de zero para ajustar um modelo sem penalidade. Estou fazendo isso porque quero estimativas...
Dada uma variável dependente contínua y e variáveis independentes, incluindo uma variável ordinal X 1 , como encaixar um modelo linear R? Existem documentos sobre esse tipo de
Estima-se que os estimadores de regressão penalizados, como LASSO e cume, correspondam aos estimadores bayesianos com certos antecedentes. Eu acho (como eu não sei o suficiente sobre estatísticas bayesianas) que, para um parâmetro de ajuste fixo, existe um prévio concreto correspondente. Agora, um...
Considere regressão linear com alguma regularização: por exemplo, encontre que minimize | | A x - b | | 2 + λ | | x |xxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Normalmente, as colunas de A são padronizadas para ter média zero e norma de unidade, enquanto é centralizado para...
Ao explicar a regressão do LASSO, o diagrama de um diamante e um círculo é frequentemente usado. Diz-se que, como o formato da restrição no LASSO é um diamante, a solução de mínimos quadrados obtida pode tocar o canto do diamante, levando a um encolhimento de alguma variável. No entanto, na...
Estou tentando ler as pesquisas na área de regressão de alta dimensão; quando ppp é maior do que nnn , isto é, p>>np>>np >> n . Parece que o termo logp/nlogp/n\log p/n aparece frequentemente em termos de taxa de convergência para estimadores de
Eu tenho um conjunto de 150 recursos, e muitos deles estão altamente correlacionados entre si. Meu objetivo é prever o valor de uma variável discreta, cujo intervalo é de 1 a 8 . O tamanho da minha amostra é 550 e estou usando a validação cruzada 10 vezes . AFAIK, entre os métodos de regularização...
http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Se você olhar para o início deste post, o escritor menciona que a norma L2 tem uma solução única e a norma L1 tem possivelmente muitas soluções. Entendo isso em termos de regularização, mas não em termos do...
Se começarmos com um conjunto de dados , aplicar o Lasso a ele e obter uma solução , podemos aplicar o Lasso novamente ao conjunto de dados , onde é o conjunto de zero índices de , para obter uma solução, , chamada solução 'LASSO relaxada' (corrija-me se estiver errado!). A solução deve satisfazer...
Na regressão de laço ou cordão, é necessário especificar um parâmetro de retração, geralmente chamado por λλ\lambda ou αα\alpha . Esse valor geralmente é escolhido por meio da validação cruzada, verificando-se vários valores diferentes nos dados de treinamento e ver qual produz melhor, por exemplo,...
Fiquei me perguntando, por que os métodos de seleção de modelos LASSO e LARS são tão populares, mesmo que sejam basicamente apenas variações da seleção direta passo a passo (e, portanto, sofram da dependência do caminho)? Da mesma forma, por que os métodos General to Specific (GETS) para seleção...