Suposições do LASSO

18

Em um cenário de regressão do LASSO, em que

y=Xβ+ϵ ,

e as estimativas do LASSO são fornecidas pelo seguinte problema de otimização

minβ||y-Xβ||+τ||β||1

Existem suposições distributivas em relação ao ϵ ?

Em um cenário de OLS, seria de esperar que o ϵ seja independente e normalmente distribuído.

Faz algum sentido analisar os resíduos em uma regressão do LASSO?

Eu sei que a estimativa do LASSO pode ser obtida como o modo posterior em anteriores independentes de dupla exponencial independente para βj . Mas não encontrei nenhuma "fase de verificação de suposições" padrão.

Desde já, obrigado (:

deps_stats
fonte

Respostas:

16

Não sou especialista em LASSO, mas aqui está minha opinião.

Primeira nota que o OLS é bastante robusto para violações de independência e normalidade. Então, julgando o Teorema 7 e a discussão acima no artigo Regressão Robusta e Lasso (por X. Huan, C. Caramanis e S. Mannor), acho que na regressão do LASSO estamos mais preocupados não com a distribuição de , mas na distribuição conjunta de . O teorema baseia-se na suposição de que é uma amostra, portanto, isso é comparável às suposições usuais do OLS. Mas o LASSO é menos restritivo, não restringe a ser gerado a partir do modelo linear.εi(yi,xi)(yi,xi)yi

Em resumo, a resposta para sua primeira pergunta é não. Não há premissas distributivas em , todas as premissas distributivas estão . Além disso, eles são mais fracos, pois no LASSO nada é postulado sobre a distribuição condicional .ε(y,X)(y|X)

Dito isto, a resposta para a segunda pergunta também é não. Como o não desempenha nenhum papel, não faz sentido analisá-los da maneira que você os analisa no OLS (testes de normalidade, heterocedasticidade, Durbin-Watson, etc.). No entanto, você deve analisá-los no contexto de quão bom o modelo foi adequado.ε

mpiktas
fonte