Por que a regressão de Ridge funciona bem na presença de multicolinearidade?

13

Estou aprendendo sobre regressão de cordilheira e sei que a regressão de cordilheira tende a funcionar melhor na presença de multicolinearidade. Eu estou querendo saber por que isso é verdade? Uma resposta intuitiva ou matemática seria satisfatória (ambos os tipos de respostas seriam ainda mais satisfatórios).

Além disso, eu sei que isso β sempre podem ser obtidos, mas quão bem faz trabalho de regressão cume na presença de co-linearidade exata (uma variável independente é uma função linear de outro)?β^

TrynnaDoStat
fonte
5
Em relação à sua segunda pergunta: se você tem colinearidade exata, basta remover uma das variáveis. Você não precisa de regressão de crista.
Peter Flom - Restabelece Monica

Respostas:

13

x1x2yé a 3ª dimensão) e geralmente existe um "melhor" plano muito claro. Mas, com a colinearidade, o relacionamento é realmente uma linha através do espaço tridimensional, com dados espalhados por ele. Mas a rotina de regressão tenta ajustar um plano a uma linha, de modo que há um número infinito de planos que se cruzam perfeitamente com essa linha, cujo plano é escolhido depende dos pontos influentes nos dados, altera um desses pontos apenas um pouco e o "melhor" plano de ajuste muda bastante. O que a regressão de crista faz é puxar o plano escolhido para modelos mais simples / mais saudáveis ​​(valores de viés para 0). Pense em um elástico da origem (0,0,0) ao plano que puxa o avião em direção a 0, enquanto os dados o afastam para um bom compromisso.

Greg Snow
fonte
@Trynna, há fotos que ilustram o que Greg disse sobre o problema de colinearidade.
ttnphns
1
Esta é uma explicação geométrica muito boa sobre por que a multicolinearidade é um problema na regressão OLS! Mas ainda não entendo por que puxar o avião para a origem resolve o problema.
TrynnaDoStat
2
@TrynnaDoStat, a principal preocupação é a variabilidade das estimativas, com a multicolinearidade, uma pequena alteração em um único ponto de dados pode balançar descontroladamente as estimativas do coeficiente (sem o viés). Ao se inclinar para 0, não há muita mudança nas estimativas dos coeficientes (porque esse elástico está puxando-os para o 0) com uma pequena alteração em um único ponto de dados, reduzindo a variabilidade.
Greg Neve
Obrigado @ttnphns pelo link para as fotos: sem ele, foi bastante difícil obter a resposta. Agora, a resposta de Greg está clara e o que eu precisava para entender essa linha em ESLII (2ª ed.): "Um coeficiente positivo absurdamente grande em uma variável pode ser cancelado por um coeficiente negativo igualmente grande em seu primo correlacionado. Ao impor uma restrição de tamanho ao coeficientes esse problema é atenuado. "
Tommaso Guerrini