Se a multicolinearidade for alta, os coeficientes do LASSO diminuiriam para 0?

Dado $x_2 = 2 x_1$ , qual é o comportamento teórico dos coeficientes LASSO e por quê?

Um de $x_1$ ou $x_2$ diminuiria para $0$ ou os dois?

require(glmnet)
x1 = runif(100, 1, 2)
x2 = 2*x1
x_train = cbind(x1, x2)
y = 100*x1 + 100 + runif(1)
ridge.mod = cv.glmnet(x_train, y, alpha = 1)
coef(ridge.mod)

#3 x 1 sparse Matrix of class "dgCMatrix"
#                       1
#(Intercept) 1.057426e+02
#x1          9.680073e+01
#x2          3.122502e-15

$$\begin{align*} \|y-X\beta\|_2^2 + \lambda \|\beta\|_1 & = \|y - \beta_1 x_1 - \beta_2 x_2 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right) \\ & = \|y - (\beta_1 + 2 \beta_2) x_1 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right). \end{align*}$$

Para qualquer valor fixo do coeficiente , a penalidadeé minimizado quando . Isso ocorre porque a penalidade em é duas vezes mais ponderada! Para colocar isso em notação,satisfaz para qualquer . Portanto, o estimador de laço $\beta_1 + 2\beta_2$$|\beta_1| + |\beta_2|$$\beta_1 = 0$$\beta_1$

$$\tilde\beta = \arg\min_{\beta \, : \, \beta_1 + 2\beta_2 = K}|\beta_1| + |\beta_2|$$ $\tilde\beta_1 = 0$$K$ $$\begin{align*} \hat\beta & = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \\ & = \arg\min_{\beta \in \mathbb{R}^p} \|y - (\beta_1 + 2 \beta_2) x_1 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right) \\ & = \arg_\beta \min_{K \in \mathbb{R}} \, \min_{\beta \in \mathbb{R}^p \, : \, \beta_1 + 2 \beta_2 = K} \, \|y - K x_1 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right) \\ & = \arg_\beta \min_{K \in \mathbb{R}} \, \left\{ \|y - K x_1 \|_2^2 + \lambda \min_{\beta \in \mathbb{R}^p \, : \, \beta_1 + 2 \beta_2 = K} \, \left\{ \left( |\beta_1| + |\beta_2| \right) \right\} \right\} \end{align*}$$ satisfaz . A razão pela qual os comentários à pergunta do OP são enganosos é porque há uma penalidade no modelo: aqueles$\hat\beta_1 = 0$$(0, 50)$e coeficientes dão o mesmo erro, mas diferentes norma! Além disso, não é necessário olhar para algo como LARs: esse resultado segue imediatamente os primeiros princípios.$(100,0)$$\ell_1$

Conforme apontado pelo Firebug, a razão pela qual sua simulação mostra um resultado contraditório é que ela é glmnetdimensionada automaticamente para variar a unidade dos recursos. Ou seja, devido ao uso de glmnet, estamos efetivamente no caso em que . Lá, o estimador não é mais único: e estão ambos no arg min. De fato, está no para qualquer tal que .$x_1 = x_2$$(100,0)$$(0,100)$$(a,b)$$\arg\min$$a,b \geq 0$$a+b = 100$

Nesse caso de recursos iguais, glmnetconvergirá em exatamente uma iteração: limiares soft o primeiro coeficiente e, em seguida, o segundo coeficiente é limiar soft a zero.

Isso explica por que a simulação encontrou em particular. De fato, o segundo coeficiente sempre será zero, independentemente da ordem dos recursos.$\hat\beta_2 = 0$

Prova: suponha ao WLOG que o recurso satisfaça . A descida de coordenadas (o algoritmo usado por ) calcula sua primeira iteração: seguida por onde . Então, como$x \in \mathbb{R}^n$$\|x\|_2 = 1$glmnet

$$\hat\beta_1^{(1)} = S_\lambda(x^T y)$$ $$\begin{align*} \hat\beta_2^{(1)} & = S_\lambda \left[ x^T \left( y - x S_\lambda (x^T y) \right) \right] \\ & = S_\lambda \left[ x^T y - x^T x \left( x^T y + T \right) \right] \\ & = S_\lambda \left[ - T \right] \\ & = 0, \end{align*}$$ $T = \begin{cases} - \lambda & \textrm{ if } x^T y > \lambda \\ \lambda & \textrm{ if } x^T y < -\lambda \\ 0 & \textrm{ otherwise} \end{cases}$$\hat\beta_2^{(1)}= 0$, a segunda iteração de descida de coordenadas repetirá os cálculos acima. Indutivamente, vemos que para todas as iterações e . Portanto , reportará e pois o critério de parada é imediatamente atingido.$\hat\beta_j^{(i)} = \hat\beta_j^{(i)}$$i$$j \in \{1,2\}$glmnet$\hat\beta_1 = \hat\beta_1^{(1)}$$\hat\beta_2 = \hat\beta_2^{(1)}$

Quando executo novamente seu código, percebo que o coeficiente de é numericamente indistinguível de zero.$x_2$

Para entender melhor por que o LASSO define esse coeficiente como zero, você deve examinar a relação entre o LASSO e a regressão de ângulo mínimo (LAR). O LASSO pode ser visto como um LAR com uma modificação especial.

O algoritmo do LAR é mais ou menos assim: Comece com um modelo vazio (exceto por uma interceptação). Em seguida, adicione a variável preditora que é a mais correlacionada com , digamos . Altere incrementalmente o coeficiente desse preditor , até que o seja igualmente correlacionado com e outra variável preditora . Em seguida, altere os coeficientes de e até que um terceiro preditor seja igualmente correlacionado com o e assim por diante.$y$$x_j$$\beta_j$$y - c - x_j\beta_j$$x_j$$x_k$$x_j$$x_k$$x_l$$y - c - x_j\beta_j -x_k\beta_k$

O LASSO pode ser visto como LAR com o seguinte toque: assim que o coeficiente de um preditor em seu modelo (um preditor "ativo") atingir zero, retire esse preditor do modelo. É o que acontece quando você regride nos preditores colineares: ambos serão adicionados ao modelo ao mesmo tempo e, à medida que seus coeficientes são alterados, sua respectiva correlação com os resíduos será alterada proporcionalmente, mas um dos preditores será descartado do conjunto ativo primeiro porque atinge zero primeiro. Quanto a qual dos dois preditores colineares será, eu não sei. [EDIT: quando você reverte a ordem de e , pode ver que o coeficiente de$y$$x_1$$x_2$$x_1$está definido como zero. Portanto, o algoritmo glmnet simplesmente parece definir esses coeficientes para zero primeiro, ordenados posteriormente na matriz de design.]

Uma fonte que explica essas coisas com mais detalhes é o capítulo 3, em "Os elementos da aprendizagem estatística", de Friedman, Hastie e Tibshirani.