Escopo do parâmetro de ajuste Lasso e Ridge

Na regressão linear do cume e do laço, um passo importante é escolher o parâmetro de ajuste lambda, geralmente eu uso a pesquisa de grade na escala de log de -6-> 4, funciona bem no cume, mas no laço, devo levar em conta a ordem da magnitude da saída y? por exemplo, se a saída y estiver na escala nano (-9), meu escopo de pesquisa para o log lambda pode ser -15 -> -5.

todos os parâmetros de entrada são normalizados, eles estão dentro de -3,3

Sim, você deve levar em conta a escala da saída e deve também ter em conta a escala das co-variáveis em .$y$$X$

Seja a matriz de design, cujas linhas são vetores, com cada entrada sendo uma covariável que, juntas, procuram explicar a resposta . Cada entrada da resposta (para ) é composta de maneira aditiva por um sinal que depende das covariáveis ​​e por um ruído médio zero do iid. Escolhendo para modelar o sinal como sendo leva aproximadamente lineares nos à estimativa LASSO sabemos, por condições de primeira ordem, que$X \in \mathbb{R}^{n \times p}$$y \in \mathbb{R}^n$$y_i = f(e_i^T X) + \epsilon_i$$i = 1, \dots, n$$f$

$$\hat \beta_\lambda = \arg\min_\beta \frac{1}{2n} \|y-X\beta\|_2^2 + \lambda \|\beta\|_1,$$ $\frac{-1}{n} X^T (y - X \hat \beta_\lambda) = \lambda \hat{z}_\lambda$, em que é a variável dupla que satisfaz se e se .$\hat{z}_\lambda$$\hat{z}_{\lambda,j} = sgn(\hat{\beta}_{\lambda, j})$$\hat{\beta}_{\lambda, j} \neq 0$$\hat{z}_{\lambda, j} \in [-1,1]$$\hat{\beta}_{\lambda, j} = 0$

Conectando nessa equação, vemos que , criando$\hat{\beta}_\lambda = 0$$\frac{-1}{n} X^T y = \lambda \hat{z}_\lambda$

$$\frac{1}{n} \|X^T y \|_\infty = \lambda \|\hat{z}_{\lambda}\|_\infty.$$

Se , então poderá diminuir (com aumentado para manter a igualdade) e o LASSO a estimativa ainda seria . Portanto, em , o menor valor de que produz , obtemos esse$\|\hat{z}_\lambda\|_\infty \neq 1$$\lambda$$\|\hat{z}_\lambda\|_\infty$$\hat{\beta}_\lambda = 0$$\lambda_\mathrm{max}$$\lambda$$\hat{\beta}_{\lambda}=0$

$$\frac{1}{n} \|X^T y\|_\infty = \lambda_\mathrm{max} \cdot 1.$$

Isso nos diz que não há necessidade de considerar ao ajustar o LASSO. Agora, na prática, a maioria dos solucionadores padroniza as colunas do para que não precisem ser levadas diretamente em consideração. (Observe que é razoável padronizar as covariáveis, pois as unidades de medida não devem afetar o coeficiente estimado.)$\lambda > \lambda_\mathrm{max}$$X$

O caso da crista é bem discutido aqui: Penalidade máxima pela regressão da crista

No pacote R glmnet, a função cv.glmnetajusta um modelo em todo o conjunto de dados para selecionar o caminho de regularização adequado e, em seguida, faz a validação cruzada usando esse caminho. Isso parece funcionar bem na prática.