Qual é o significado do caminho da regularização no LASSO ou em problemas de esparsidade relacionados?

8

Se selecionarmos valores diferentes do parâmetro , poderíamos obter soluções com diferentes níveis de escarsidade. Isso significa que o caminho da regularização é como selecionar as coordenadas que poderiam obter uma convergência mais rápida? Estou um pouco confuso, embora tenha ouvido falar sobre esparsidade com frequência. Além disso, você poderia fornecer uma descrição simples sobre as soluções existentes do problema?λLASSO

mineração
fonte

Respostas:

13

Digamos que você tenha um modelo com variáveis ​​preditoras: x 1 , x 2 , x p . Defina λ como um valor inicial e estime seus coeficientes β 1 , β 2 , β p . Esses coeficientes podem ser pensados ​​como um ponto no espaço p- dimensional. *px1,x2,xpλβ1,β2,βpp

Repita o procedimento para o seu próximo valor de e obtenha outro conjunto de estimativas. Estes formam outro ponto no espaço p- dimensional. Faça isso para todos os seus valores λ e você obterá uma sequência desses pontos. Essa sequência é o caminho da regularização.λpλ


β0 0(p+1)β0 0

Hong Ooi
fonte
4

Uma explicação gráfica da solução Lasso pode ser encontrada nas páginas 69-73 do texto "Elements of Statistical Learning" (versão online aqui ).

drollix
fonte
1
Obrigado senhor! Sim! O Fig. 3.10é o caminho da regularização do laço.
mining