Qual é a diferença entre a distribuição preditiva posterior e posterior?

31

Entendo o que é um posterior, mas não tenho certeza do que o último significa?

Como os 2 são diferentes?

Kevin P Murphy indicou em seu livro, Aprendizado de Máquina: uma Perspectiva Probabilística , que é "um estado de crença interno". O que isso realmente significa? Fiquei com a impressão de que um Prior representa sua crença ou parcialidade, onde estou errado?

posterior definition DE ANÚNCIOS
fonte

Respostas:

36

A diferença simples entre os dois é que a distribuição posterior depende do parâmetro desconhecido , ou seja, a distribuição posterior é: onde é a constante de normalização.θ

p(θ|x)=c×p(x|θ)p(θ)
c

Enquanto, por outro lado, a distribuição preditiva posterior não depende do parâmetro desconhecido porque foi integrada, ou seja, a distribuição preditiva posterior é: θ

p(x∗|x)=∫Θc×p(x∗,θ|x)dθ=∫Θc×p(x∗|θ)p(θ|x)dθ

onde é uma nova variável aleatória não observada e é independente de .x∗x

Não vou me debruçar sobre a explicação da distribuição posterior, já que você diz que a entende, mas a distribuição posterior "é a distribuição de uma quantidade desconhecida, tratada como uma variável aleatória, condicionada às evidências obtidas" (Wikipedia). Basicamente, é a distribuição que explica seu parâmetro desconhecido e aleatório.

Por outro lado, a distribuição preditiva posterior tem um significado completamente diferente, pois é a distribuição para dados futuros previstos com base nos dados que você já viu. Portanto, a distribuição preditiva posterior é basicamente usada para prever novos valores de dados.

Se ajudar, é um gráfico de exemplo de uma distribuição posterior e uma distribuição preditiva posterior:

insira a descrição da imagem aqui

insira a descrição da imagem aqui

Jinhua Wang
fonte
3
Esse gráfico de distribuição preditiva posterior precisa de novos rótulos de eixo e uma legenda ou algo assim. Eu entendi a ideia porque sei o que é uma distribuição preditiva posterior, mas alguém que está apenas descobrindo isso pode ficar seriamente confuso.
Ciano
Graças @BabakP você também poderia me aponte para o qual distribuição você usou para traçar o pmf de theta, e P (x * | theta)
AD
... porque eu gostaria de descobrir o exemplo completo.
26/09/13 AD
Apenas fingi que meu traseiro era um Beta (3,2). Na verdade, eu não resolvi nada. Mas é claro que, se você quiser um exemplo, suponha que a probabilidade seja um Binomial (n, p) e o anterior em p seja um Beta (a, b), então você poderá obter que o posterior é mais uma vez uma distribuição beta .
Além disso, esse preditivo posterior não é fácil de obter. Acabei de pegar um gráfico de algum código do Processo Gaussiano que escrevi para um preditivo posterior do GP. E com isso dito, que o gráfico preditivo posterior e posterior acima, na verdade, não corresponde ao posterior mostrado, ambos são arbitrários.
11

A distribuição preditiva geralmente é usada quando você aprende uma distribuição posterior para o parâmetro de algum tipo de modelo preditivo. Por exemplo, na regressão linear bayesiana, você aprende uma distribuição posterior sobre o parâmetro w do modelo y = wX, com alguns dados observados X.
Então, quando um novo ponto de dados invisível x * chega, você deseja encontrar a distribuição sobre possíveis previsões y * dada a distribuição posterior de w que você acabou de aprender. Essa distribuição sobre os y * possíveis, dada a posterior para w, é a distribuição de previsão.

user1893354
fonte
5

Eles se referem a distribuições de duas coisas diferentes.

A distribuição posterior refere-se à distribuição do parâmetro , enquanto a distribuição posterior preditiva (DPP) refere-se à distribuição de futuras observações de dados .

SPMQET
fonte