Por que as misturas de conjugados a priori são importantes?

8

Eu tenho uma pergunta sobre a mistura de conjugados anteriores. Aprendi e digo a mistura de conjugados anteriores algumas vezes quando estou aprendendo bayesiano. Estou me perguntando por que esse teorema é tão importante, como vamos aplicá-lo quando estivermos fazendo uma análise bayesiana.

Para ser mais específico, um teorema de Diaconis e Ylivisaker 1985 ilustrou um teorema como este:

Dado um modelo de amostragem de uma família exponencial, qualquer distribuição anterior pode ser aproximada por uma mistura finita de distribuições anteriores conjugadas.p(y|θ)

Mais especificamente, dado , podemos derivar o posterior:p(θ)=p(θ|ω)p(ω)dω

p(θ|Y)p(Y|θ)p(θ|ω)p(ω)dωp(Y|θ)p(θ|ω)p(Y|ω)p(Y|ω)p(ω)dωp(θ|Y,ω)p(Y|ω)p(ω)dω

Portanto,

p(θ|Y)=p(θ|Y,ω)p(Y|ω)p(ω)dωp(Y|ω)p(ω)dω

Shijia Bian
fonte
1
Esta não é uma resposta para sua pergunta, mas é bom lembrar que, em muitos casos, você não precisa usar anteriores conjugados para amostragem (confira aqui ).
Tim
2
O teorema que você cita não é verdadeiro. A versão que você descreve é ​​sobre antecedentes hierárquicos, não conjugados anteriores . Redefina sua pergunta corretamente.
Xian
@ Xi'an Obrigado. Esta citação é originária do artigo < statisticstics.stanford.edu/sites/default/files/EFS%20NSF%20207.pdf >. Está na parte inferior da página 13.
Shijia Bian
2
Ah, você esqueceu a "aproximação" e o "finito" na declaração !!! "Qualquer prior pode ser aproximado por uma mistura finita de conjugados a priori" é a citação correta, com a aproximação não funcionando em termos de comportamento da cauda.
Xian
1
@ Xi'an também posso ter outra pergunta? Por que devemos sempre enfatizar o modelo de mistura "finito"? Em outras palavras, existe um modelo de mistura infinita?
Shijia Bian

Respostas:

8

Calcular partes posteriores com anteriores gerais / arbitrários diretamente pode ser uma tarefa difícil.

Por outro lado, o cálculo de posteriores com misturas de anteriores conjugados é relativamente simples, uma vez que uma dada mistura de anteriores se torna a mesma mistura dos posteriores correspondentes.

[Também existem muitos casos em que alguns dados anteriores podem ser bastante bem aproximados por uma mistura finita de conjugados anteriores - isso facilita muito a aplicação e a abordagem prática em muitas situações, o que leva a posteriores aproximados que podem ser aproximados. ao exato.]

Glen_b -Reinstate Monica
fonte
2
O ponto principal de Diaconis e Ylvisaker (1985) é de fato mostrar que misturas finitas de conjugados são (a) conjugados e (b) oferecem mais flexibilidade do que os conjugados originais. Eles também exigem informações mais prévias para decidir sobre os hiperparâmetros, e é por isso que eles não são muito utilizados. Mas permanece falso que qualquer prior seja uma mistura de conjugados anteriores!
Xian
1

Para estender um pouco a resposta de @ Glen_b, uma implicação é que podemos obter uma aproximação de forma fechada ao posterior quando um prior não conjugado é usado, primeiro aproximando o prior não conjugado com uma mistura de antecedentes conjugados e, em seguida, resolvendo diretamente o posterior da aproximação.

No entanto, em geral, esse método parece bastante complicado de usar. Embora seja verdade que você pode fazer a mistura antes arbitrariamente próxima da anterior não conjugada, geralmente haverá algum erro em qualquer aproximação finita. Pequenos erros no anterior podem se propagar facilmente a grandes erros no posterior. Por exemplo, se o prior for bem aproximado, exceto nas caudas extremas, mas os dados fornecerem fortes evidências de que os valores dos parâmetros estão nas caudas extremas, esses erros nas caudas extremas do anterior levarão a erros nas regiões de alta probabilidade do posterior.

Cliff AB
fonte