Existe um conjunto claro de condições sob as quais os caminhos da solução do laço, crista ou rede elástica são monótonos?

18

A pergunta O que concluir deste gráfico de laço (glmnet) demonstra os caminhos da solução para o estimador de laço que não é monotônico. Ou seja, alguns dos cofficients crescem em valor absoluto antes de encolherem.

Eu apliquei esses modelos a vários tipos diferentes de conjuntos de dados e nunca vi esse comportamento "em estado selvagem", e até hoje assumimos que eles eram sempre monotônicos.

Existe um conjunto claro de condições sob as quais os caminhos da solução são garantidos para serem monótonos? Isso afeta a interpretação dos resultados se os caminhos mudarem de direção?

shadowtalker
fonte
Monótono em que sentido? Não me parece muito significativo se você quiser tratá-lo como um gráfico de alguma função.
precisa saber é o seguinte
4
@ Henry.L A questão pode ser reformulada da seguinte forma: quando é o seguinte verdadeiro: para , temos que para todos os , em que . Ou seja, o laço diminui uniformemente no sentido dos componentes. Poderia, por favor, esclarecer o que você duvida é significativo? λ1λ2(β^λ2)j(β^λ1)jjβ^λ=argminβ12nyXβ22+λβ1
user795305
2
nota: a compreensão da maneira pela qual laçar encolhe coeficientes é o tema de ambos esta questão e stats.stackexchange.com/questions/145299/...
user795305
1
Eu não sei como eu perdi isso antes, a pergunta é respondida como laço na resposta do OP à sua própria pergunta na pergunta acima.
User795305

Respostas:

2

Posso dar-lhe uma suficiente condição para o caminho a ser monótona: um design orthonormal de X .

Suponha que uma matriz de projeto ortonormal, ou seja, com variáveis em , tenhamos que . Com um design ortonormal, os coeficientes de regressão OLS são simplesmente .X X XpX β Ols=X'yXXn=Ipβ^ols=Xyn

As condições de Karush-Khun-Tucker para o LASSO simplificam assim:

Xyn=β^lasso+λsβ^ols=β^lasso+λs

Onde é o sub gradiente. Portanto, para cada , temos esse , e nós ter uma solução de forma fechada para as estimativas de laço:j { 1 , ... , p } β O l s j = β l um s s o j + λ s jsj{1,...,p}β^joeus=β^jeuumasso+λsj

β^jeuumasso=sEugn(β^joeus)(|β^joeus|-λ)+

Qual é monotônico em . Enquanto isso não é uma condição necessária, vemos que a não-monotonicidade deve vir a partir da correlação das co-variáveis em .λX

Carlos Cinelli
fonte