R - Regressão do laço - Lambda diferente por regressor

Eu quero fazer o seguinte:

1) regressão OLS (sem termo de penalização) para obter coeficientes beta ; j representa as variáveis ​​usadas para regredir. Eu faço isso por$b_{j}^{*}$$j$

lm.model = lm(y~ 0 + x)
betas    = coefficients(lm.model)

2) Na regressão do laço com um termo de penalização, os critérios de seleção serão os Critérios de Informação Bayesiana (BIC), dados por

onde representa o número da variável / regressor, T o número de observações e b ∗ j para os betas iniciais obtidos na etapa 1). Quero ter resultados de regressão para este específico λ j valor, que é diferente para cada regressor usado. Portanto, se houver três variáveis, haverá três valores diferentes λ j .$j$$T$$b_{j}^{*}$$\lambda_j$$\lambda_j$

O problema de otimização OLS-Lasso é então dado por

Como posso fazer isso no R com o pacote lars ou glmnet? Não consigo encontrar uma maneira de especificar lambda e não tenho 100% de certeza se obtenho os resultados corretos se executar

lars.model <- lars(x,y,type = "lasso", intercept = FALSE)
predict.lars(lars.model, type="coefficients", mode="lambda")

Agradeço qualquer ajuda aqui.

Atualizar:

Eu usei o seguinte código agora:

fits.cv = cv.glmnet(x,y,type="mse",penalty.factor = pnlty)
lmin    = as.numeric(fits.cv[9]) #lambda.min
fits    = glmnet(x,y, alpha=1, intercept=FALSE, penalty.factor = pnlty)
coef    = coef(fits, s = lmin)

Na linha 1, uso validação cruzada com meu fator de penalidade especificado ( ), que é diferente para cada regressor. A linha 2 seleciona o "lambda.min" de fits.cv, que é o lambda que fornece um erro médio de validação cruzada mínimo. A linha 3 executa um ajuste de laço () nos dados. Novamente, usei o fator de penalidadeλ. A linha 4 extrai os coeficientes dos ajustes que pertencem ao "ideal"λescolhido na linha 2.$\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|}$alpha=1$\lambda$$\lambda$

Agora eu tenho os coeficientes beta para os regressores que representam a solução ideal do problema de minimização

com um fator de penalidade . O conjunto ótimo de coeficientes é provavelmente um subconjunto dos regressores que eu inicialmente usei; isso é uma consequência do método Lasso, que reduz o número de regressores usados.$\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|}$

Meu entendimento e o código estão corretos?

A partir da glmnetdocumentação ( ?glmnet), vemos que é possível realizar o encolhimento diferencial. Isso nos leva a pelo menos meio caminho para responder à pergunta do OP.

penalty.factor: Fatores de penalidade separados podem ser aplicados a cada coeficiente. Este é um número que se multiplica lambdapara permitir o encolhimento diferencial. Pode ser 0 para algumas variáveis, o que não implica retração, e essa variável é sempre incluída no modelo. O padrão é 1 para todas as variáveis ​​(e implicitamente infinito para as variáveis ​​listadas em exclude). Nota: os fatores de penalidade são redimensionados internamente para somar nvarse a lambdasequência refletirá essa alteração.

Para responder completamente à pergunta, acho que existem duas abordagens disponíveis, dependendo do que você deseja realizar.

1. glmnet$\lambda$penalty.factor$\lambda$$b_j$$\phi_j= \frac{\log T}{T|b_j^*|}$$\phi_j$$b_j$penalty.factor$C\phi_j=\phi^\prime_j$$m=C\sum_{j=1}^m \frac{\log T}{T|b^*_j|}$$\phi_j^\prime$$\phi_j$$C$$\phi_j^\prime$glmnet$\lambda=1$coef(model, s=1, exact=T)

2. glmnet$k$$\lambda$$\lambda=0$$b$$\lambda$$\lambda$

glmnet$\lambda$$\lambda$coef(fits,s=something)$\lambda$something$\lambda$

$\lambda$cv.glmnetglmnetpenalty.factor

Este procedimento otimiza

$\phi_j$$j^{th}$penalty.factor$\lambda$$\phi_j$$\lambda$$\phi$$\lambda$$\phi$$\lambda$$b$$\lambda$

Essa é basicamente a motivação glmnetque eu entendo: usar a regressão penalizada para estimar um modelo de regressão que não seja excessivamente otimista sobre o desempenho fora da amostra. Se esse é seu objetivo, talvez este seja o método certo para você, afinal.