Posterior normal multivariada

18

Essa é uma pergunta muito simples, mas não consigo encontrar a derivação em nenhum lugar da internet ou de um livro. Gostaria de ver a derivação de como um bayesiano atualiza uma distribuição normal multivariada. Por exemplo: imagine que

P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0).

Depois de observar um conjunto de x1...xn , gostaria de calcular P(μ|x1...xn) . Eu sei que a resposta é P(μ|x1...xn)=N(μn,Σn) em que

μn=Σ0(Σ0+1nΣ)1(1ni=1nxi)+1nΣ(Σ0+1nΣ)1μ0Σn=Σ0(Σ0+1nΣ)11nΣ

Estou procurando a derivação desse resultado com toda a álgebra matricial intermediária.

Qualquer ajuda é muito apreciada.

Alex
fonte
2
Também é resolvido em nosso livro Bayesian Core , cap. 3, Seção 3.2, páginas 54-57, com o que pensamos ser álgebra matricial detalhada!
Xian
1
O OP disse que não era um problema de lição de casa e até explicou por que ele perguntou e como ele deseja usar a resposta. Por que não publicá-lo para outras pessoas? Entendo por que não queremos fornecer um serviço de resolução de problemas de lição de casa, mas isso está levando um pouco longe demais.
Michael R. Chernick
3
@ Alex: Desculpe, link errado, eu quis dizer Bayesian Core . Observe que também publicamos soluções para todos os problemas no arXiv . Portanto, publicar uma solução completa aqui não faria mal!
Xian
1
Excluí a parte dos comentários que equivale a uma troca privada entre indivíduos com um acordo para compartilhar uma resposta particular à pergunta. Esse tipo de coisa está abusando deste site, que trata de perguntas e respostas públicas .
whuber
1
Assim como um FYI, a derivação está na Classificação de Padrões por Duda, Hart e Stork. No entanto, estava tendo dificuldade em seguir alguns dos passos deles, o que só importa para mim. Se isso fosse simplesmente um dever de casa, alguém poderia escrever exatamente o que eles têm.
1955 Alex

Respostas:

6

Com as distribuições em nossos vetores aleatórios:

xi|μN(μ,Σ)

μN(μ0,Σ0)

Pela regra de Bayes, a distribuição posterior se parece com:

p(μ|{xi})p(μ)i=1Np(xi|μ)

Então:

lnp(μ|{xi})=12i=1N(xiμ)Σ1(xiμ)12(μμ0)Σ01(μμ0)+const

=12NμΣ1μ+i=1NμΣ1xi12μΣ01μ+μΣ01μ0+const

=12μ(NΣ1+Σ01)μ+μ(Σ01μ0+Σ1i=1Nxi)+const

=12(μ(NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi))(NΣ1+Σ01)(μ(NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi))+const

Qual é a densidade de log de um gaussiano:

μ|{xi}N((NΣ1+Σ01)1(Σ01μ0+Σ1i=1Nxi),(NΣ1+Σ01)1)

Usando a identidade Woodbury em nossa expressão para a matriz de covariância:

(NΣ1+Σ01)1=Σ(1NΣ+Σ0)11NΣ0

O que fornece a matriz de covariância na forma que o OP queria. Usando esta expressão (e sua simetria) ainda mais na expressão para a média, temos:

Σ(1NΣ+Σ0)11NΣ0Σ01μ0+1NΣ0(1NΣ+Σ0)1ΣΣ1i=1Nxi

=Σ(1NΣ+Σ0)11Nμ0+Σ0(1NΣ+Σ0)1i=1N(1Nxi)

Qual é a forma exigida pelo OP para a média.

conjecturas
fonte