Regressão bayesiana com singular - O posterior é bem definido?

8

Comunidade SE, espero obter algumas idéias sobre o seguinte problema. Dado um modelo de regressão linear simples, Sob uma função de probabilidade gaussiana com termos de erro homoscedástico, a distribuição condicional da variável dependente assume a forma Atribuo um conjugado condicional (não informativo) antes para e h \ beta | h \ sim N (0, cI), h \ sim G (s ^ {- 2}, v) foram c \ rightarrow \ infty, v \ rightarrow0 . É um resultado padrão que a distribuição posterior marginal de \ beta seja multivariada com \ beta | D \ sim t_N (\ hat {\ beta}, \ hat {\ Sigma}, T).Y | β , h ~ N ( X β , h - 1 I ) . β h β | h ∼ N ( 0 , c I ) , h ∼ G ( s - 2 , v )

Y=Xβ+ϵ , where Y∈RT,X∈RT×N.
Y|β,h∼N(Xβ,h−1I).
βh
β|h∼N(0,cI),h∼G(s−2,v)
β β | D ~ t N ( β , Σ , t ) .c→∞,v→0β
β|D∼tN(β^,Σ^,T).
O que acontece se (X′X) for singular? Na regressão padrão, eu usaria o pseudo-inverso generalizado de Moore-Penrose (X′X)+ vez de usar (X′X)−1 . No entanto, neste caso, a variação posterior Σ^:=c(X′X)−1 também seria singular e duvido que a distribuição t ainda esteja bem definida. Isso está correto?

E ainda mais perturbador para mim: suponha que eu não esteja realmente interessado na distribuição posterior de β mas apenas em uma combinação linear z:=Aβ que A∈RN−1×N , e |AΣ^A′|≠0 . Eu seria capaz de fazer uma amostra dessa distribuição, embora sua construção seja baseada em algo que não está realmente definido (a distribuição de β ). Existe uma maneira de lidar com isso? Ou há um erro essencial na minha pergunta que torna todo o meu argumento obsoleto?

regression bayesian variance posterior singular muffin1974
fonte
2
Na melhor das hipóteses, os antecedentes não informativos fornecem resultados úteis quando os dados identificam exclusivamente os parâmetros do modelo - Essa observação é basicamente a razão pela qual temos regressão de crista e seus parentes, em vez de confiar apenas no OLS. Mas se os dados não forem suficientemente informativos, normalmente você seguirá a rota de regressão regularizada (crista, etc) ou a rota completa de Bayes. Na rota completa de Bayes, basta definir distribuições anteriores apropriadas e informativas sobre seus dados e o problema será tratável.
Sycorax diz Reinstate Monica
1
Obrigado por seus comentários até agora! Eu entendo que o posterior de não está definido corretamente. No entanto, isso realmente causa problemas para a variável aleatória que é pelo menos teoricamente bem definida? zβz
precisa saber é o seguinte
1
Bem. o que me confunde é que o posterior de parece plausível, embora o caminho para uma solução não seja satisfatório. Atualmente, estou procurando uma maneira de reescrever a equação de regressão, porque estou otimista de que seria possível obter diretamente os parâmetros de regressão vez de perder tempo pesquisando . No entanto, embora este parece possível no meu caso específico, eu estou ainda deixou com a pergunta o que significa que se um modelo de 'mau' está aninhado em um funcionamento um ...z βzzβ
muffin1974

Respostas:

2

O principal problema da sua pergunta é que a obtenção de limites não se estende diretamente a medidas e distribuições de probabilidade. Existem muitos tipos diferentes de convergência associados às medidas.

Assim, considerando-se o conjugado e deixando e ir para e , respectivamente, não possuem um significado matemático adequado ou único.ν c 0 ∞

β|h∼N(0 0,cEu),h∼G(s-2,ν)
νc0 0∞

Agora, se você considerar anterior inadequado, não haverá distribuição posterior associada à probabilidade porque o potencial posterior não se integra em condicional a . Não existe porque o inverso não existe e não há distribuição bem definida no . G(β,h|X,y)=exp{-h(y-Xβ)T(Y-Xβ)/2}hT/2βh Σ =(XTX)-1Umβ

π(β,h)∝1h
eu(β,h|X,y)=exp⁡{-h(y-Xβ)T(y-Xβ)/2}hT/2
βh
Σ^=(XTX)-1
UMAβ
Xi'an
fonte