Como os métodos de regularização de cume, LASSO e elasticnet se comparam? Quais são as respectivas vantagens e desvantagens? Qualquer bom artigo técnico ou anotações de aula também serão apreciados.
É possível calcular valores de AIC ou BIC para modelos de regressão de laço e outros modelos regularizados em que os parâmetros estão inserindo apenas parcialmente a equação. Como se determina os graus de liberdade? Estou usando R para ajustar modelos de regressão de laço com a glmnet()função do...
Para o LASSO (e outros procedimentos de seleção de modelo), é crucial redimensionar os preditores. A recomendação geral que sigo é simplesmente usar uma média de 0, 1 normalização de desvio padrão para variáveis contínuas. Mas o que há com manequins? Por exemplo, alguns exemplos aplicados da...
Nota: Eu sei que L1 tem propriedade de seleção de recurso. Estou tentando entender qual escolher quando a seleção de recursos é completamente irrelevante. Como decidir qual regularização (L1 ou L2) usar? Quais são os prós e os contras de cada regularização L1 / L2? É recomendável primeiro fazer a...
Eu uso a função auto.arima () no pacote de previsão para ajustar os modelos ARMAX a uma variedade de covariáveis. No entanto, muitas vezes tenho um grande número de variáveis para selecionar e geralmente termino com um modelo final que funciona com um subconjunto delas. Não gosto de técnicas...
Eu li três razões principais para padronizar variáveis antes de algo como Lassoregressão: 1) Interpretabilidade dos coeficientes. 2) Capacidade de classificar a importância do coeficiente pela magnitude relativa das estimativas de coeficiente pós-retração. 3) Não há necessidade de...
O problema do laço possui a solução de formulário fechado: \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ text {LS}} _j) (| \ beta_j ^ {\ text {LS }} | - \ alpha) ^ + se X tiver colunas ortonormais. Isso foi mostrado neste tópico: Derivação da solução de laço de forma fechada...
Li em várias referências que a estimativa de Lasso para o vetor de parâmetro de regressão BBB é equivalente ao modo posterior de BBB no qual a distribuição anterior para cada BiBiB_i é uma distribuição exponencial dupla (também conhecida como distribuição de Laplace). Eu tenho tentado provar isso,...
Quando uso o GAM, o DF residual é (última linha do código). O que isso significa? Indo além do exemplo do GAM, em geral, o número de graus de liberdade pode ser um número não inteiro?26,626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data =...
Para a regressão do laço suponha que a melhor solução (erro mínimo de teste, por exemplo) selecione k recursos, para que \ hat {\ beta} ^ {lasso} = \ left (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k ^ {laço}, 0, ... 0 \ direita)
Certa vez, ouvi um método de usar o laço duas vezes (como um laço duplo) em que você executa o laço no conjunto original de variáveis, digamos S1, obtém um conjunto esparso chamado S2 e depois executa o laço novamente no conjunto S2 para obter o conjunto S3 . Existe um termo metodológico para isso?...
A regressão LASSO reduz os coeficientes para zero, fornecendo, assim, uma seleção de modelo eficaz. Eu acredito que em meus dados existem interações significativas entre covariáveis nominais e contínuas. Não necessariamente, porém, são os 'efeitos principais' do modelo verdadeiro significativos...
Então me fizeram uma pergunta sobre quais medidas centrais L1 (isto é, laço) e L2 (isto é, regressão de cordilheira) estimadas. A resposta é L1 = mediana e L2 = média. Existe algum tipo de raciocínio intuitivo para isso? Ou isso precisa ser determinado algebricamente? Se sim, como faço para fazer...
Diferentes softwares de implementação estão disponíveis para o laço . Sei muito discutido sobre abordagem bayesiana versus abordagem freqüentista em diferentes fóruns. Minha pergunta é muito específica para o laço - Quais são as diferenças ou vantagens de laço baysiano vs laço regular ? Aqui estão...
Eu quero entender melhor os pacotes R Larse Glmnet, que são usados para resolver o problema de Lasso: (parapVariáveis eamostras deN, consultewww.stanford.edu/~hastie/Papers/glmnet.pdfna página 3)m i n( β0 0β) ∈ Rp + 1[ 12 N∑i = 1N( yEu- β0 0- xTEuβ)2+ λ | | β| |eu1]mEun(β0...
Algumas funções e aproximações de penalidade são bem estudadas, como o LASSO ( ) e o Ridge ( ) e como elas se comparam na regressão.L 2L1L1L_1L2L2L_2 Eu tenho lido sobre a penalidade de Bridge, que é a penalidade generalizada . Compare isso com o LASSO, que possui \ gama = 1 , e o Ridge, com \...
Recentemente, descobri que na literatura econométrica aplicada, ao lidar com problemas de seleção de características, não é incomum executar o LASSO seguido de uma regressão OLS usando as variáveis selecionadas. Fiquei me perguntando como podemos qualificar a validade de tal procedimento....
A regressão penalizada de L1 (aka laço) é apresentada em duas formulações. Seja as duas funções objetivas Então as duas formulações diferentes são sujeito a e, equivalentemente Usando as condições de Karush-Kuhn-Tucker (KKT), é fácil ver como a condição de estacionariedade para a primeira...
Estou usando o pacote R penalizado para obter estimativas reduzidas de coeficientes para um conjunto de dados em que tenho muitos preditores e pouco conhecimento de quais são importantes. Depois de escolher os parâmetros de ajuste L1 e L2 e ficar satisfeito com meus coeficientes, existe uma maneira...
Todos nós estamos familiarizados com a noção, bem documentada na literatura, de que a otimização do LASSO (por uma questão de simplicidade limita a atenção aqui ao caso da regressão linear) l o s s =∥y- Xβ∥22+ λ ∥ β∥1euoss=__y-Xβ__22+λ__β__1 {\rm loss} = \| y - X \beta \|_2^2 + \lambda \| \beta...