Regressão de Ridge - interpretação bayesiana

15

Ouvi dizer que a regressão de cordilheira pode ser derivada como a média de uma distribuição posterior, se o prior for adequadamente escolhido. A intuição de que as restrições definidas nos coeficientes de regressão pelas anteriores (por exemplo, distribuições normais padrão em torno de 0) são idênticas / substitui a penalidade estabelecida no tamanho dos coeficientes ao quadrado? O prior precisa ser gaussiano para que essa equivalência se mantenha?

user1885116
fonte

Respostas:

15

β=0 0|β|P

Frank Harrell
fonte
10

Dois pontos:

A distribuição posterior no caso bayesiano é uma distribuição. A estimativa de regressão de crista é simplesmente um vetorβ^e não uma distribuição. Portanto, eles não são completamente equivalentes.

É verdade que, no caso de uma probabilidade normal multivariada anterior e normal multivariada, a posterior é normal multivariada com uma média que é a estimativa de regressão da crista para um parâmetro da crista adequadamente escolhido.

A prova disso depende da forma particular do prior e da probabilidade e não funciona para anteriores ou funções de probabilidade mais gerais.

Brian Borchers
fonte