Por que as misturas de conjugados a priori são importantes?

Eu tenho uma pergunta sobre a mistura de conjugados anteriores. Aprendi e digo a mistura de conjugados anteriores algumas vezes quando estou aprendendo bayesiano. Estou me perguntando por que esse teorema é tão importante, como vamos aplicá-lo quando estivermos fazendo uma análise bayesiana.

Para ser mais específico, um teorema de Diaconis e Ylivisaker 1985 ilustrou um teorema como este:

Dado um modelo de amostragem de uma família exponencial, qualquer distribuição anterior pode ser aproximada por uma mistura finita de distribuições anteriores conjugadas.$p(y|\theta)$

Mais especificamente, dado , podemos derivar o posterior:$p(\theta)=\int p(\theta|\omega)p(\omega)d\omega$

$p(\theta|Y)\propto\int p(Y|\theta)p(\theta|\omega)p(\omega)d\omega\propto\int \frac{p(Y|\theta)p(\theta|\omega)}{p(Y|\omega)}p(Y|\omega)p(\omega)d\omega\propto \int p(\theta|Y, \omega)p(Y|\omega)p(\omega)d\omega$

Portanto,

$p(\theta|Y)=\frac{\int p(\theta|Y, \omega)p(Y|\omega)p(\omega)d\omega}{\int p(Y|\omega)p(\omega)d\omega}$

Calcular partes posteriores com anteriores gerais / arbitrários diretamente pode ser uma tarefa difícil.

Por outro lado, o cálculo de posteriores com misturas de anteriores conjugados é relativamente simples, uma vez que uma dada mistura de anteriores se torna a mesma mistura dos posteriores correspondentes.

[Também existem muitos casos em que alguns dados anteriores podem ser bastante bem aproximados por uma mistura finita de conjugados anteriores - isso facilita muito a aplicação e a abordagem prática em muitas situações, o que leva a posteriores aproximados que podem ser aproximados. ao exato.]

Para estender um pouco a resposta de @ Glen_b, uma implicação é que podemos obter uma aproximação de forma fechada ao posterior quando um prior não conjugado é usado, primeiro aproximando o prior não conjugado com uma mistura de antecedentes conjugados e, em seguida, resolvendo diretamente o posterior da aproximação.

No entanto, em geral, esse método parece bastante complicado de usar. Embora seja verdade que você pode fazer a mistura antes arbitrariamente próxima da anterior não conjugada, geralmente haverá algum erro em qualquer aproximação finita. Pequenos erros no anterior podem se propagar facilmente a grandes erros no posterior. Por exemplo, se o prior for bem aproximado, exceto nas caudas extremas, mas os dados fornecerem fortes evidências de que os valores dos parâmetros estão nas caudas extremas, esses erros nas caudas extremas do anterior levarão a erros nas regiões de alta probabilidade do posterior.