Parâmetro de regularização LASSO do algoritmo LARS

Em seu artigo seminal 'Regressão a Menor Ângulo' , Efron et al descrevem uma modificação simples do algoritmo LARS que permite calcular caminhos completos de regularização do LASSO.

Eu implementei essa variante com êxito e geralmente plotei o caminho de saída em relação ao número de etapas (iterações sucessivas do algoritmo LARS) ou à -norm dos coeficientes de regressão ( ).$l_1$$\Vert \beta \Vert_1$

No entanto, parece que a maioria dos pacotes disponíveis fornece o caminho de regularização em termos do coeficiente de penalização do LASSO $\lambda$ (por exemplo, LARS em R, onde você pode brincar com o argumento 'mode' para alternar entre diferentes representações).

Minha pergunta é: qual é a mecânica usada para alternar de uma representação para outra (s). Eu já vi várias perguntas relacionadas a isso (ou mais especificamente, a questão de mapear a restrição de desigualdade $\Vert \beta \Vert_1 \leq t$ para um termo de penalização apropriado $\lambda \Vert \beta \Vert_1$ ), mas não encontrei resposta satisfatória.

---

[Editar]

Eu procurei dentro de algum código MATLAB que executa a transformação necessária e, para cada etapa LARS $k$ , é assim que $\lambda$ parece ser calculado:

$$\lambda(k) = \max( 2 \vert X^T y \vert ),\ \ \ \text{for } k=1$$ $$\lambda(k) = \text{median}( 2 \vert X_{\mathcal{A}_k}^T r_{\mathcal{A}_k} \vert ),\ \ \ \forall k > 1$$

onde $X$ (tamanho $n \times p$ ) e $y$ (tamanho $n \times 1$ ) denotam as entradas / respostas padronizadas, $\mathcal{A}_k$ representa o conjunto de preditores ativos na etapa $k$ e $r$ representa a regressão atual residual na etapa $k$ .

Não consigo entender a lógica por trás desse cálculo. Alguém poderia ajudar?

Eu descobri como realizar a conversão necessária.

Suponha que as entradas sejam padronizadas (média zero, variação unitária) e as respostas sejam centralizadas.$X$$y$

Sabemos que o algoritmo LARS modificado fornece o caminho completo de regularização do LASSO, cf. artigo original de Efron et al .

Isso significa que, a cada iteração , o algoritmo anterior encontra um par ideal minimizando a função de perda regularizada: $k$$(\beta^*, \lambda^*)$

$$\begin{align} (\beta^*, \lambda^*) &= \text{argmin}_{(\beta,\lambda)} L(\beta,\lambda) \\ L(\beta,\lambda) &= \Vert y-X\beta \Vert_2^2 + \lambda \Vert \beta \Vert_1 \\ &= \sum_{i=1}^N \left(y_i - \sum_{j=1}^p \beta_j X_{ij}\right)^2 + \lambda \sum_{j=1}^p \vert \beta_j \vert \end{align}$$

Para todos os componentes ativos no conjunto ativo no final da etapa , aplicar a condição de estacionariedade KKT fornece $a=\{1,...,q\}$$\mathcal{A}_k$$k$

$$\begin{align} 0 &= \frac{\partial L}{\partial \beta_a}(\beta^*,\lambda^*) \\ &= -2 \sum_{i=1}^N X_{ia} \left(y_i - \sum_{j=1}^q \beta_j^* X_{ij}\right) + \lambda^*\ \text{sign}(\beta_a^*) \end{align}$$

Em outras palavras, ou em notações matriciais (observando que dividir / multiplicar por é o mesmo) a seguinte equação é satisfeita para qualquer componente ativo :

$$\lambda^* = 2 \frac{\sum_{i=1}^N X_{ia} \left(y_i - \sum_{j=1}^q \beta_j^* X_{ij}\right)}{\text{sign}(\beta_a^*)}$$ $\text {sign}(x)$$a$ $$\lambda^* = 2 \ \text{sign}(\beta_a^*) X_a^T r$$

No artigo original, os autores mencionam que, para qualquer solução para o problema do LASSO, o sinal de um peso de regressão ativo ( ) deve ser idêntico ao sinal da correlação do preditor ativo correspondente com a atual regressão residual ( ), que é apenas lógica, pois deve ser positivo. Assim, também podemos escrever:$\beta_a^*$$X_a^T r$$\lambda^*$

$$\lambda^* = 2 \vert X_a^T r \vert$$

Além disso, vemos que na etapa final (ajuste OLS, ), obtemos devido ao lema da ortogonalidade. O uso da mediana na implementação do MATLAB que encontrei no IMHO parece um esforço para 'calcular' os erros numéricos em todos os componentes ativos:$k$$\beta^* = (X^TX)^{-1}X^T y$$\lambda^* = 0$

$$\lambda^* = \text{median}( 2 \vert X_{\mathcal{A}_k}^T r_{\mathcal{A}_k} \vert ),\ \ \ \forall k > 1$$

Para calcular o valor de quando não há componentes ativos (etapa ), pode-se usar o mesmo truque acima, mas no limite infinitesimal em que todos os pesos de regressão são zero e apenas o sinal do primeiro componente se torna assuntos ativos (na etapa ). Isso produz:$\lambda$$k=1$$b$$k=2$

$$\lambda^* = 2 \ \text{sign}(\beta_b^*) X_b^T y$$ que é estritamente equivalente a

$$\lambda^* = \max(2 \vert X^T y \vert), \text { for } k=1$$

porque (i) a mesma observação anterior sobre o sinal de pesos de regressão; (ii) o algoritmo LARS determina o próximo componente para entrar no conjunto ativo como aquele que é o mais correlacionado com o residual atual , que na etapa é simplesmente .$b$$k=1$$y$