O algoritmo de Gibbs Sampling garante equilíbrio detalhado?

17

Tenho como autoridade suprema 1 que Gibbs Sampling é um caso especial do algoritmo Metropolis-Hastings para amostragem de Markov Chain Monte Carlo. O algoritmo MH sempre fornece uma probabilidade de transição com a propriedade detalhada do balanço; Espero que Gibbs também deva. Então, onde, no seguinte caso simples, errei?

Para distribuição de destino em duas variáveis ​​discretas (para simplificar), as distribuições condicionais completas são: q 1 ( x ; y )π(x,y)

q1(x;y)=π(x,y)zπ(z,y)q2(y;x)=π(x,y)zπ(x,z)

Pelo que entendi Gibbs Sampling, a probabilidade de transição pode ser escrita:

Prob{(y1,y2)(x1,x2)}=q1(x1;y2)q2(x2;x1)

A questão é: mas o mais próximo que posso chegar é π ( y 1 , y 2 ) P r o b { ( y 1 , y 2 )

π(y1,y2)Prob{(y1,y2)(x1,x2)}=?π(x1,x2)Prob{(x1,x2)(y1,y2)},
Isso é sutilmente diferente e não implica em equilíbrio detalhado. Obrigado por qualquer pensamento!
π(y1,y2)Prob{(y1,y2)(x1,x2)}=π(y1,y2)q2(x2;x1)q1(x1;y2)=π(x1,x2)zπ(x1,z)π(x1,y2)zπ(z,y2)π(y1,y2)=π(x1,x2)q2(y2;x1)q1(y1;y2)
Ian
fonte

Respostas:

15

Você tentou mostrar um equilíbrio detalhado para a cadeia de Markov que é obtida considerando-se que uma transição da cadeia de Markov é a 'varredura de Gibbs', na qual você mostra cada componente, por sua vez, a partir de sua distribuição condicional. Para esta cadeia, o saldo detalhado não é satisfeito. O ponto é que cada amostragem de um componente em particular a partir de sua distribuição condicional é uma transição que satisfaz um equilíbrio detalhado. Seria mais preciso dizer que a amostragem de Gibbs é um caso especial de Metropolis-Hastings, um pouco generalizada, onde você alterna entre várias propostas diferentes. Mais detalhes a seguir.

As varreduras não satisfazem o equilíbrio detalhado

X1,X2

X2=0 0X2=1X1=0 01313X1=10 013
X1(0 0,0 0)(1,1)(0 0,0 0)(1,0 0)(1,1)(0 0,0 0)14

No entanto, essa cadeia ainda possui uma distribuição estacionária correta. O saldo detalhado é uma condição suficiente, mas não necessária, para convergir para a distribuição de destino.

Os movimentos de componentes satisfazem o equilíbrio detalhado

(x1,x2)(y1,y2)x2y2x2=y2

π(x1,x2)Prob((x1,x2)(y1,x2))=π(x1,x2)p(y1X2=x2)=π(x1,x2)π(y1,x2)zπ(z,x2)=π(y1,x2)π(x1,x2)zπ(z,x2)=π(y1,x2)p(x1X2=x2)=π(y1,x2)Prob((y1,x2)(x1,x2)).

Como os movimentos em termos de componentes são os movimentos do Metropolis-Hastings?

1(x1,x2)(y1,y2)

π(y1,x2)π(x1,x2).
Prob((y1,x2)(x1,x2))Prob((x1,x2)(y1,x2))=π(x1,x2)zπ(z,x2)π(y1,x2)zπ(z,x2)=π(x1,x2)π(y1,x2).
1
Juho Kokkala
fonte
Ótima resposta, obrigado (edição menor: y_2 -> x_2 na sua terceira seção). Ao chamar a varredura de Gibbs um passo, a existência da distribuição estacionária (juntamente com a irredutibilidade e a recorrência) é uma condição suficiente para convergir para a distribuição estacionária a partir de qualquer estado inicial?
9103 Ian
3
O amostrador de Gibbs é uma composição dos movimentos de Metropolis-Hastings com probabilidade de aceitação 1. Cada movimento é reversível, mas a composição não é, a menos que a ordem dos passos seja aleatória.
Xi'an