De onde vêm os condicionais completos na amostragem de Gibbs?

Algoritmos MCMC como Metropolis-Hastings e Gibbs são formas de amostragem das distribuições posteriores da articulação.

Eu acho que entendo e posso implementar as pessoas que vivem nas metrópoles com bastante facilidade - você simplesmente escolhe os pontos de partida de alguma forma e 'percorre o espaço dos parâmetros' aleatoriamente, guiado pela densidade posterior e pela densidade da proposta. A amostragem de Gibbs parece muito semelhante, mas mais eficiente, pois atualiza apenas um parâmetro de cada vez, mantendo os outros constantes, efetivamente percorrendo o espaço de forma ortogonal.

Para fazer isso, você precisa do condicional completo de cada parâmetro em analítico a partir de *. Mas de onde vêm esses condicionais completos?

$$P(x_1 | x_2,\ \ldots,\ x_n) = \frac{P(x_1,\ \ldots,\ x_n)}{P(x_2,\ \ldots,\ x_n)}$$ Para obter o denominador, você precisa marginalizar a junta sobre$x_1$. Parece ser muito trabalho analiticamente se houver muitos parâmetros e pode não ser tratável se a distribuição conjunta não for muito "agradável". Sei que se você usar conjugação em todo o modelo, os condicionais completos podem ser fáceis, mas deve haver uma maneira melhor para situações mais gerais.

Todos os exemplos de amostras de Gibbs que eu vi on-line usam exemplos de brinquedos (como amostras de um normal multivariado, onde os condicionais são apenas os normais) e parecem evitar esse problema.

* Ou você precisa dos condicionais completos na forma analítica? Como programas como o winBUGS fazem isso?

Sim, você está certo, a distribuição condicional precisa ser encontrada analiticamente, mas acho que há muitos exemplos em que a distribuição condicional completa é fácil de encontrar e tem uma forma muito mais simples que a distribuição conjunta.

A intuição para isso é a seguinte, em mais "realista" joint distribuições , mais do X i 's são geralmente condicionalmente independente da maioria das outras variáveis aleatórias. Ou seja, algumas das variáveis ​​têm$P(X_1,\dots,X_n)$$X_i$ locais interações, dizer depende de X i - 1 e X i + 1 , mas não interage com tudo, portanto, as distribuições condicionais deve simplificar significativamente como P r $X_i$$X_{i-1}$$X_{i+1}$$Pr(X_i|X_1, \dots, X_i) = Pr(X_i|X_{i-1}, X_{i+1})$

Acho que você perdeu a principal vantagem de algoritmos como o de Metropolis-Hastings. Para amostragem de Gibbs, você precisará fazer uma amostra dos condicionais completos. Você está certo, isso raramente é fácil de fazer. A principal vantagem dos algoritmos Metropolis-Hastings é que você ainda pode experimentar um parâmetro de cada vez, mas precisa conhecer apenas os condicionais completos até a proporcionalidade. Isso ocorre porque os denominadores cancelam na função de critérios de aceitação

$P(x_1 | x_2,...,x_n) \propto P(x_1,...,x_n)$

Programas como o WinBugs / Jags normalmente executam Metropolis-Hastings ou etapas de amostragem de fatia que exigem apenas os condicionais até a proporcionalidade. Estes estão facilmente disponíveis no DAG. Dada a conjugação, eles também às vezes tomam passos diretos de Gibbs ou batentes sofisticados.