Confusão relacionada à amostragem de Gibbs

9

Encontrei este artigo em que diz que na amostra de Gibbs todas as amostras são aceitas. Eu estou um pouco confuso. Como é que, se toda amostra que ela aceita, converge para uma distribuição estacionária?

Em geral, o algoritmo de metrópole é aceito como min (1, p (x *) / p (x)) onde x * é o ponto de amostra. Suponho que x * nos aponta para uma posição em que a densidade é alta, por isso estamos nos movendo para a distribuição de destino. Portanto, suponho que ele se mova para a distribuição de destino após uma queima no período.

No entanto, na amostragem de Gibbs, aceitamos tudo, mesmo que isso nos leve a um lugar diferente, como podemos dizer que ele converge para a distribuição estacionária / alvo

Suponha-se que têm uma distribuição de . Não podemos calcular Z. No algoritmo da metrópole, usamos o termo para incorporar a distribuição mais a constante de normalização Z é cancelada. Então está tudo bemp(θ)=c(θ)/Zc(θnew)/c(θold)c(θ)

Mas na amostragem de Gibbs, onde estamos usando a distribuiçãoc(θ)

Por exemplo, no artigo http://books.nips.cc/papers/files/nips25/NIPS2012_0921.pdf, é dado

portanto, não temos a distribuição condicional exata para a amostra, apenas temos algo que é diretamente proporcional à distribuição condicional

insira a descrição da imagem aqui

user34790
fonte
2
O que aconteceria em Metropolis-Hastings se fosse sempre 1? p(x)/p(x)
Glen_b -Reinstar Monica

Respostas:

6

Quando usamos o algoritmo Metropolis-Hastings, precisamos calcular uma taxa de aceitação e deixar a variável aleatória então aceitamos a variável aleatória se .

α=min(1,p(x)p(x))
UUniform(0,1)U<α

No entanto, na amostragem de Gibbs, sempre exceto a variável aleatória, porque não precisamos calcular a taxa de aceitação (bem, na verdade você faz, mas quando você conecta as coisas, vê que tudo cancela e sua taxa de aceitação é e tão claramente é sempre menor que e, por isso, você está sempre aceitando). No entanto, você também pode pensar intuitivamente onde, na amostragem de Gibbs, você está colhendo amostras dos condicionais completos, que é uma expressão de forma fechada da qual podemos extrair amostras diretamente e, portanto, não há necessidade de rejeitar amostras, como no algoritmo Metropolis-Hastings, onde não sabe como colher amostras (ou geralmente não reconhece a forma de) . Espero que ajude!α=1Uαp(x)

insira a descrição da imagem aqui


fonte
1
Eu não entendi como tudo cancela. Bem, digamos que temos que amostrar a partir da distribuição de 3 variáveis. Portanto, quando você quis dizer condicionais completos na expressão de forma fechada, você quis dizer p (x1 | x2, x3) p (x2 | x1, x3) ep (x3 | x1, x2). Minha pergunta é que, no caso da amostragem de Gibbs, sabemos a distribuição condicional obtida da distribuição real p da qual queremos amostrar. É isso que você quer dizer. No caso do algoritmo Metropolis, não conhecemos p, mas algo como c tal que p (x) = c (x) / Z ?? p(θ)
user34790
Suponha que comecemos com valores aleatórios para as variáveis ​​x1, x2 e x3, como podemos dizer que sua distribuição estacionária converge para a necessária. Quais são os critérios para isso?
user34790
Suponhamos que tem uma distribuição de . Eu não sei Z. Então, como eu ia provar a partir de usando amostragem de Gibbsp(θ)=c(θ)/Zp(θ)
user34790
3
Eu adicionei uma prova acima de por que é sempre uma. Para usar a amostragem de Gibbs, você precisa saber quais são os condicionais completos.
1

A prova de que a taxa de aceitação é igual a 1 como erro de digitação, ou seja, no denominador na parte central e terceira, a expressão para q deve ter z_i prime, para que no final você obtenha P (z_i prime | z_i prime).

Alex

user60803
fonte