De onde vêm os condicionais completos na amostragem de Gibbs?

15

Algoritmos MCMC como Metropolis-Hastings e Gibbs são formas de amostragem das distribuições posteriores da articulação.

Eu acho que entendo e posso implementar as pessoas que vivem nas metrópoles com bastante facilidade - você simplesmente escolhe os pontos de partida de alguma forma e 'percorre o espaço dos parâmetros' aleatoriamente, guiado pela densidade posterior e pela densidade da proposta. A amostragem de Gibbs parece muito semelhante, mas mais eficiente, pois atualiza apenas um parâmetro de cada vez, mantendo os outros constantes, efetivamente percorrendo o espaço de forma ortogonal.

Para fazer isso, você precisa do condicional completo de cada parâmetro em analítico a partir de *. Mas de onde vêm esses condicionais completos?

P(x1|x2, ..., xn)=P(x1, ..., xn)P(x2, ..., xn)
Para obter o denominador, você precisa marginalizar a junta sobrex1. Parece ser muito trabalho analiticamente se houver muitos parâmetros e pode não ser tratável se a distribuição conjunta não for muito "agradável". Sei que se você usar conjugação em todo o modelo, os condicionais completos podem ser fáceis, mas deve haver uma maneira melhor para situações mais gerais.

Todos os exemplos de amostras de Gibbs que eu vi on-line usam exemplos de brinquedos (como amostras de um normal multivariado, onde os condicionais são apenas os normais) e parecem evitar esse problema.

* Ou você precisa dos condicionais completos na forma analítica? Como programas como o winBUGS fazem isso?

cespinoza
fonte
1
A amostragem de Gibbs geralmente é menos eficiente que a Metropolis-Hastings, porque ela tem uma dimensão de cada vez ...
Xian
Gibbs amostragem é mais eficiente em cada etapa individual, mas pode precisar de um terrível muito mais passos para convergir - e acabam menos eficiente para um bom resultado global.
Lutz Prechelt 19/03/19

Respostas:

7

Sim, você está certo, a distribuição condicional precisa ser encontrada analiticamente, mas acho que há muitos exemplos em que a distribuição condicional completa é fácil de encontrar e tem uma forma muito mais simples que a distribuição conjunta.

A intuição para isso é a seguinte, em mais "realista" joint distribuições , mais do X i 's são geralmente condicionalmente independente da maioria das outras variáveis aleatórias. Ou seja, algumas das variáveis ​​têmP(X1,,Xn)Xi locais interações, dizer depende de X i - 1 e X i + 1 , mas não interage com tudo, portanto, as distribuições condicionais deve simplificar significativamente como P r (XiXi1Xi+1Pr(Xi|X1,,Xi)=Pr(Xi|Xi1,Xi+1)

gabgoh
fonte
Pr(Xi|Xi1,Xi+1)
3
Eles não precisam ser encontrados analiticamente. Todos os condicionais completos são proporcionais à distribuição conjunta, por exemplo. E isso é tudo o que é necessário para Metropolis-Hastings.
Tristan
1
@Tristan, é claro. Estou, no entanto, falando sobre amostragem de gibbs.
gabgoh
1
Eles não precisam ser encontrados analiticamente para Gibbs Sampling. Você só precisa ser capaz de provar, de alguma forma, a partir do condicional; se você pode escrever como fazer isso em uma declaração bastante analítica não é relevante.
guest
1
Na verdade, não há necessidade de um condicional analítico completo: tudo o que é necessário para a amostragem de Gibbs ser implementada é a capacidade de simular a partir dos condicionais completos.
Xian
11

Acho que você perdeu a principal vantagem de algoritmos como o de Metropolis-Hastings. Para amostragem de Gibbs, você precisará fazer uma amostra dos condicionais completos. Você está certo, isso raramente é fácil de fazer. A principal vantagem dos algoritmos Metropolis-Hastings é que você ainda pode experimentar um parâmetro de cada vez, mas precisa conhecer apenas os condicionais completos até a proporcionalidade. Isso ocorre porque os denominadores cancelam na função de critérios de aceitação

P(x1|x2,...,xn)P(x1,...,xn)

Programas como o WinBugs / Jags normalmente executam Metropolis-Hastings ou etapas de amostragem de fatia que exigem apenas os condicionais até a proporcionalidade. Estes estão facilmente disponíveis no DAG. Dada a conjugação, eles também às vezes tomam passos diretos de Gibbs ou batentes sofisticados.

Tristan
fonte
1
Ei, obrigado! Eu acho que esse ponto sobre não precisar da constante normativa para as incursões nas metrópoles é exatamente a informação que eu precisava para entender tudo isso. Penso que, como o GS no WinBUGS significa amostragem de gibbs, tive a impressão de que gibbs substituíam o MH e que o software estava usando gibbs exclusivamente.
Cspinoza
3
O termo amostragem de Gibbs é freqüentemente usado para sugerir que você faça uma amostragem de um parâmetro por vez, mesmo se você não usar a idéia original de amostragem diretamente dos condicionais completos. Todo o software faz uma amostra de parâmetros individuais ou blocos de parâmetros em sequência, mas o tipo de etapa real varia muito, dependendo do que funciona melhor.
Tristan
2
Quase sempre que você pode implementar Gibbs, você também pode implementar alternativas Metropolis-Hastings. Maior eficiência vem da mistura das duas abordagens.
Xian
Essa deve ser a resposta aceita.
NoBackingDown