Como derivar a amostragem de Gibbs?

Na verdade, estou hesitando em perguntar isso, porque temo ser encaminhado para outras perguntas ou para a Wikipedia sobre amostras de Gibbs, mas não tenho a sensação de que eles descrevam o que está em mãos.

Dada uma probabilidade condicional : p ( x | y ) y = y 0 y = y 1 x = x 0 $p(x|y)$

$$\begin{array}{c|c|c} p(x|y) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{4} & \tfrac{2}{6} \\ \hline x = x_1 & \tfrac{3}{4} & \tfrac{4}{6} \\ \end{array}$$

E uma probabilidade condicional : p ( y | x ) y = y 0 y = y 1 x = x 0 $p(y|x)$

$$\begin{array}{c|c|c} p(y|x) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{3} & \tfrac{2}{3} \\ \hline x = x_1 & \tfrac{3}{7} & \tfrac{4}{7} \\ \end{array}$$

Podemos unicamente apresentar a probabilidade conjunta :$f_{unique}=p(x,y)$

$$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & a_0 & a_1 & c_0 \\ \hline x = x_1 & a_2 & a_3 & c_1 \\ \hline p(y) & b_0 & b_1 & \\ \end{array}$$

Porque, embora tenhamos incógnitas, temos mais ( 4 * 2 + 3 ) equações lineares:4 ∗ 2 + $8$$4*2+3$

$a_0+a_1+a_2+a_3=1 \\ b_0+b_1 = 1 \\ c_0+c_1 = 1$

Assim como:

$\tfrac{1}{4} b_0 = a_0 \\ \tfrac{3}{4} b_0 = a_2 \\ \tfrac{2}{6} (1-b_0) = a_1 \\ \tfrac{4}{6} (1-b_0) = a_3 \\ \tfrac{1}{3} c_0 = a_0 \\ \tfrac{2}{3} c_0 = a_1 \\ \tfrac{3}{7} (1-c_0) = a_2 \\ \tfrac{4}{7} (1-c_0) = a_3$

É resolvido rapidamente por $c_0=\tfrac{3}{4}b_0$ , $\tfrac{2}{3}c_0=a_1$ . Ou seja, equiparando $\tfrac{2}{4}b_0=a_1$ com $\tfrac{2}{6}(1-b_0)=a_1$ . Isso fornece $b_0=\tfrac{2}{5}$ e o restante segue.

$$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & \tfrac{1}{10} & \tfrac{2}{10} & \tfrac{3}{10} \\ \hline x = x_1 & \tfrac{3}{10} & \tfrac{4}{10} & \tfrac{7}{10} \\ \hline p(y) & \tfrac{4}{10} & \tfrac{6}{10} & \\ \end{array}$$

Então, agora vamos ao caso contínuo. É imaginável fazer intervalos e manter a estrutura acima intacta (com mais equações do que incógnitas). No entanto, o que acontece quando vamos para (apontar) instâncias de variáveis ​​aleatórias? Como a amostragem

$$x_a \sim p(x|y=y_b) \\ y_b \sim p(y|x=x_a)$$

iterativamente, leve a ? Equivalente à restrição , como garante por exemplo? Da mesma forma com . Podemos escrever as restrições e derivar a amostragem de Gibbs a partir dos primeiros princípios?a 0 + a 1 + a 2 + a 3$p(x,y)$∫ X ∫ Y p ( x , y ) d y d x = 1 ∫ Y p ( y | x ) d y = $a_0 + a_1 + a_2 + a_3=1$$\int_X \int_Y p(x,y) dy dx = 1$$\int_Y p(y|x)dy=1$

Portanto, não estou interessado em como realizar a amostragem de Gibbs, o que é simples, mas estou interessado em como derivá-la e, de preferência, em como provar que funciona (provavelmente sob certas condições).

Computar uma distribuição conjunta a partir de distribuições condicionais em geral é muito difícil. Se as distribuições condicionais forem escolhidas arbitrariamente, uma distribuição conjunta comum pode até não existir. Nesse caso, até mesmo mostrar que as distribuições condicionais são consistentes geralmente é difícil. Um resultado que pode ser usado para derivar uma distribuição conjunta é o lema de Brook , escolhendo um estado fixo , embora eu nunca o tenha usado com sucesso para esse fim. Para saber mais sobre esse assunto, eu examinaria o trabalho de Julian Besag.

$$\frac{p(\mathbf{x})}{p(\mathbf{x}')} = \prod_i \frac{p(x_i \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})}{p(x_i' \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})},$$ $\mathbf{x}'$

Para provar que a amostra de Gibbs funciona, no entanto, é melhor seguir uma rota diferente. Se uma cadeia de Markov implementada por um algoritmo de amostragem tem distribuição como distribuição invariável e é irredutível e aperiódica , a cadeia de Markov convergirá para essa distribuição (Tierney, 1994) .$p$

A amostragem de Gibbs sempre deixará a distribuição conjunta invariante da qual as distribuições condicionais foram derivadas: aproximadamente, se e ,$(x_0, y_0) \sim p(x_0, y_0)$$x_1 \sim p(x_1 \mid y_0)$

$$(x_1, y_0) \sim \int p(x_0, y_0) p(x_1 \mid y_0) \, dx_0 = p(x_1 \mid y_0) p(y_0) = p(x_1, y_0).$$

Ou seja, atualizar por amostragem condicional não altera a distribuição da amostra.$x$

No entanto, a amostragem de Gibbs nem sempre é irredutível . Embora sempre possamos aplicá-lo sem quebrar as coisas (no sentido de que, se já tivermos uma amostra da distribuição desejada, ela não mudará a distribuição), depende da distribuição conjunta se a amostragem de Gibbs realmente convergirá para ela (um simples suficiente A condição para a irredutibilidade é que a densidade é positiva em todos os lugares, ).$p(\mathbf{x}) > 0$