Como derivar a amostragem de Gibbs?

11

Na verdade, estou hesitando em perguntar isso, porque temo ser encaminhado para outras perguntas ou para a Wikipedia sobre amostras de Gibbs, mas não tenho a sensação de que eles descrevam o que está em mãos.

Dada uma probabilidade condicional : p ( x | y ) y = y 0 y = y 1 x = x 0 1p(x|y)

p(x|y)y=y0y=y1x=x01426x=x13446

E uma probabilidade condicional : p ( y | x ) y = y 0 y = y 1 x = x 0 1p(y|x)

p(y|x)y=y0y=y1x=x01323x=x13747

Podemos unicamente apresentar a probabilidade conjunta :funique=p(x,y)

p(x,y)y=y0y=y1p(x)x=x0a0a1c0x=x1a2a3c1p(y)b0b1

Porque, embora tenhamos incógnitas, temos mais ( 4 * 2 + 3 ) equações lineares:4 2 + 3842+3

a0+a1+a2+a3=1b0+b1=1c0+c1=1

Assim como:

14b0=a034b0=a226(1b0)=a146(1b0)=a313c0=a023c0=a137(1c0)=a247(1c0)=a3

É resolvido rapidamente por c0=34b0 , 23c0=a1 . Ou seja, equiparando 24b0=a1 com 26(1b0)=a1 . Isso fornece b0=25 e o restante segue.

p(x,y)y=y0y=y1p(x)x=x0110210310x=x1310410710p(y)410610

Então, agora vamos ao caso contínuo. É imaginável fazer intervalos e manter a estrutura acima intacta (com mais equações do que incógnitas). No entanto, o que acontece quando vamos para (apontar) instâncias de variáveis ​​aleatórias? Como a amostragem

xap(x|y=yb)ybp(y|x=xa)

iterativamente, leve a ? Equivalente à restrição , como garante por exemplo? Da mesma forma com . Podemos escrever as restrições e derivar a amostragem de Gibbs a partir dos primeiros princípios?a 0 + a 1 + a 2 + a 3 =p(x,y)X Y p ( x , y ) d y d x = 1 Y p ( y | x ) d y = 1a0+a1+a2+a3=1XYp(x,y)dydx=1Yp(y|x)dy=1

Portanto, não estou interessado em como realizar a amostragem de Gibbs, o que é simples, mas estou interessado em como derivá-la e, de preferência, em como provar que funciona (provavelmente sob certas condições).

Anne van Rossum
fonte

Respostas:

9

Computar uma distribuição conjunta a partir de distribuições condicionais em geral é muito difícil. Se as distribuições condicionais forem escolhidas arbitrariamente, uma distribuição conjunta comum pode até não existir. Nesse caso, até mesmo mostrar que as distribuições condicionais são consistentes geralmente é difícil. Um resultado que pode ser usado para derivar uma distribuição conjunta é o lema de Brook , escolhendo um estado fixo , embora eu nunca o tenha usado com sucesso para esse fim. Para saber mais sobre esse assunto, eu examinaria o trabalho de Julian Besag.

p(x)p(x)=ip(xix<i,x>i)p(xix<i,x>i),
x

Para provar que a amostra de Gibbs funciona, no entanto, é melhor seguir uma rota diferente. Se uma cadeia de Markov implementada por um algoritmo de amostragem tem distribuição como distribuição invariável e é irredutível e aperiódica , a cadeia de Markov convergirá para essa distribuição (Tierney, 1994) .p

A amostragem de Gibbs sempre deixará a distribuição conjunta invariante da qual as distribuições condicionais foram derivadas: aproximadamente, se e ,(x0,y0)p(x0,y0)x1p(x1y0)

(x1,y0)p(x0,y0)p(x1y0)dx0=p(x1y0)p(y0)=p(x1,y0).

Ou seja, atualizar por amostragem condicional não altera a distribuição da amostra.x

No entanto, a amostragem de Gibbs nem sempre é irredutível . Embora sempre possamos aplicá-lo sem quebrar as coisas (no sentido de que, se já tivermos uma amostra da distribuição desejada, ela não mudará a distribuição), depende da distribuição conjunta se a amostragem de Gibbs realmente convergirá para ela (um simples suficiente A condição para a irredutibilidade é que a densidade é positiva em todos os lugares, ).p(x)>0

Lucas
fonte
Problema interessante sobre compatibilidade. Agora estou verificando "Compatibilidade de distribuições condicionais discretas finitas" (Song et al.) Que usam uma "matriz de razão" para estabelecer compatibilidade e exclusividade. Portanto, Gibbs não pode ser derivado dessas restrições porque elas não são aplicadas desde o início. Eu posso imaginar que ele possa retornar uma distribuição conjunta imprópria (soma> 1) se as distribuições condicionais forem incompatíveis, por exemplo. De alguma forma, no entanto, tenho a sensação de que o que estou fazendo é algo determinístico, algo semelhante à transformação de Radon. A amostragem de Gibbs parece tão ... suja.
Anne van Rossum