Existe um conjunto claro de condições sob as quais os caminhos da solução do laço, crista ou rede elástica são monótonos?

A pergunta O que concluir deste gráfico de laço (glmnet) demonstra os caminhos da solução para o estimador de laço que não é monotônico. Ou seja, alguns dos cofficients crescem em valor absoluto antes de encolherem.

Eu apliquei esses modelos a vários tipos diferentes de conjuntos de dados e nunca vi esse comportamento "em estado selvagem", e até hoje assumimos que eles eram sempre monotônicos.

Existe um conjunto claro de condições sob as quais os caminhos da solução são garantidos para serem monótonos? Isso afeta a interpretação dos resultados se os caminhos mudarem de direção?

lasso ridge-regression elastic-net shadowtalker
fonte

Monótono em que sentido? Não me parece muito significativo se você quiser tratá-lo como um gráfico de alguma função.

precisa saber é o seguinte

@ Henry.L A questão pode ser reformulada da seguinte forma: quando é o seguinte verdadeiro: para , temos que para todos os , em que . Ou seja, o laço diminui uniformemente no sentido dos componentes. Poderia, por favor, esclarecer o que você duvida é significativo?

λ_{1} \geq λ_{2}

$\lambda_1 \ge \lambda_2$

({\hat{β}}_{λ_{2}})_{j} \geq ({\hat{β}}_{λ_{1}})_{j}

$(\hat\beta_{\lambda_2})_j \ge (\hat\beta_{\lambda_1})_j$

j

$j$

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\hat\beta_\lambda = \arg\min_\beta \frac{1}{2n}\|y-X\beta\|_2^2 + \lambda \|\beta\|_1$

user795305

nota: a compreensão da maneira pela qual laçar encolhe coeficientes é o tema de ambos esta questão e stats.stackexchange.com/questions/145299/...

user795305

Eu não sei como eu perdi isso antes, a pergunta é respondida como laço na resposta do OP à sua própria pergunta na pergunta acima.

User795305

Respostas:

Posso dar-lhe uma suficiente condição para o caminho a ser monótona: um design orthonormal de $X$ .

Suponha que uma matriz de projeto ortonormal, ou seja, com variáveis em , tenhamos que . Com um design ortonormal, os coeficientes de regressão OLS são simplesmente . $p$ $X$ $\frac{X'X}{n} = I_p$ $\hat{\beta}^{ols} = \frac{X'y}{n}$

As condições de Karush-Khun-Tucker para o LASSO simplificam assim:

\frac{X^{'} y}{n} = {\hat{β}}^{l a s s o} + λ s ⟹ {\hat{β}}^{o l s} = {\hat{β}}^{l a s s o} + λ s

$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$

Onde é o sub gradiente. Portanto, para cada , temos esse , e nós ter uma solução de forma fechada para as estimativas de laço: $s$ $j\in \{1, \dots, p\}$ $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$

{\hat{β}}_{j}^{eu uma s s o} = s Eu g n ({\hat{β}}_{j}^{o eu s}) {(| {\hat{β}}_{j}^{o eu s} | - λ)}_{+}

$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$

Qual é monotônico em . Enquanto isso não é uma condição necessária, vemos que a não-monotonicidade deve vir a partir da correlação das co-variáveis em . $\lambda$ $X$

Carlos Cinelli
fonte