MCMC e aumento de dados

Eu estive analisando uma pergunta de aumento de dados do MCMC; a forma geral da pergunta é a seguinte:

Suponha que os dados coletados em um processo sugiram e um anterior para o parâmetro rate seja sugerido como . Os dados são registrados e apresentados de uma forma típica (ou seja, o número de ocorrências de cada valor para de a ), no entanto, os dados coletados não discriminam os casos em que (ou seja, todas as ocorrências em que e estão agrupadas em uma categoria). $X_{i} \sim \text{Pois}(\lambda)$ $\lambda \sim \text{Exp}(\lambda_{0})$ $X_{i}$ $0$ $n$ $X_{i} \leq 1$ $X_{i} = 0$ $X_{i} = 1$

Dados os dados, a probabilidade e o descrito anteriormente, a pergunta pede:

A forma posterior de , $\lambda$
O número de ocorrências em que . $X_{i} = 0$

Não tenho muita certeza de como responder a essa pergunta, mas sei que o Gibbs Sampling pode ser usado no aumento de dados. Alguém tem alguma informação sobre como isso pode ser feito?

EDITAR:

Devo especificar que é principalmente a segunda parte (o número de ocorrências em que ) sobre a qual não tenho certeza. Para a primeira parte (a forma posterior de ), dada a probabilidade e o sugerido anteriormente, eu raciocinei (embora eu esteja feliz por ser corrigido): $X_{i} = 0$ $\lambda$

Dado:

π (λ | \vec{x}) \propto p (\vec{x} | λ) \times p (λ)

$\pi(\lambda|\vec{x}) \propto p(\vec{x}|\lambda) \times p(\lambda)$

Então, para o modelo dado acima:

π (λ | \vec{x}) = \frac{λ^{\sum_{i = 1}^{n} x_{i}}}{\sum_{i = 1}^{n} x_{i}!} e^{- n λ} \times λ_{0} e^{- λ λ_{0}}

$\pi(\lambda|\vec{x}) = \frac{\lambda^{\sum_{i=1}^{n}x_{i}}}{\sum_{i=1}^{n}x_{i}!}e^{-n\lambda} \times \lambda_{0}e^{-\lambda \lambda_{0}}$

Simplificando rendimentos:

π (λ | \vec{x}) = \frac{λ^{\sum_{i = 1}^{n} x_{i}}}{\sum_{i = 1}^{n} x_{i}!} e^{- λ (n + λ_{0})} λ_{0}

$\pi(\lambda|\vec{x}) = \frac{\lambda^{\sum_{i=1}^{n}x_{i}}}{\sum_{i=1}^{n}x_{i}!}e^{-\lambda(n+\lambda_{0})}\lambda_{0}$

que é proporcional a (e, portanto, a forma posterior é dada por):

π (λ | \vec{x}) \propto λ^{\sum_{i = 1}^{n} x_{i}} e^{- λ (n + λ_{0})} λ_{0}

$\pi(\lambda|\vec{x}) \propto \lambda^{\sum_{i=1}^{n}x_{i}}e^{-\lambda(n+\lambda_{0})}\lambda_{0}$

self-study mcmc monte-carlo data-augmentation user9171
fonte

Sua resposta não leva em conta o fato de que as observações iguais a zero e a uma são mescladas: o que você calculou é o posterior para os dados completos de Poisson , em vez dos dados agregados ou mesclados , . $(X_1,\ldots,X_n)$ $(X_1^*,\ldots,X^*_n)$

Se tomarmos a convenção de que casos em que a observação corresponde a ou e a observação a , a densidade do vetor observado é (após uma álgebra e fatoração) que é o número de vezes que são iguais a um. O último termo entre parênteses acima é a probabilidade de obter 0 ou 1 em um empate em Poisson. $X_i^*=1$ $X_i=1$ $X_i=0$ $X_i^*=k>1$ $X_i=k$ $(X_1^*,\ldots,X^*_n)$

π (λ | x_{1}^{*}, \dots, x_{n}^{*}) \propto λ^{\sum_{i = 1}^{n} x_{i}^{*} I (x_{i}^{*} > 1)} \exp {- λ (λ_{0} + n)} \times {1 + λ}^{n_{1}}

$\pi(\lambda|x_1^*,\ldots,x^*_n) \propto \lambda^{\sum_{i=1}^n x_i^*\mathbb{I}(x_i^*>1)} \exp\{-\lambda(\lambda_0+n)\} \times \{1+\lambda\}^{n_1}$

n_{1}

$n_1$

x_{i}^{*}

$x_i^*$

Portanto, este é o seu posterior verdadeiro / observado. A partir daí, você pode implementar um amostrador Gibbs

Gerando as "observações ausentes" fornecidas e as observações, ou seja, simulando , que é dada por $\lambda$ $p(x_i|\lambda,x_i^*=1)$ $P (x_{i} = 0 | λ, x_{i}^{*} = 1) = 1 - P (x_{i} = 1 | λ, x_{i}^{*} = 1) = \frac{1}{1 + λ} .$ $\mathbb{P}(x_i=0|\lambda,x_i^*=1)=1-\mathbb{P}(x_i=1|\lambda,x_i^*=1)=\dfrac{1}{1+\lambda}\,.$
Gerando dados os "dados completos", que equivalem a como você já calculou. $\lambda$ $λ | x_{1}, \dots, x_{n} \sim G (\sum_{i} x_{i} + 1, n + λ_{0})$ $\lambda|x_1,\ldots,x_n \sim \mathcal{G}(\sum_i x_i + 1,n+\lambda_0)$

(Se você quiser mais detalhes, o Exemplo 9.7, p.346, no meu livro Métodos Estatísticos de Monte Carlo com George Casella cobre exatamente essa configuração.)

Xi'an
fonte

(2) Qualquer algoritmo MCMC pode começar com valores arbitrários porque a cadeia de Markov é recorrente; essa é a idéia principal por trás dos métodos de Monte Carlo da cadeia de Markov. Observe que é um parâmetro do prior: ele é escolhido a priori e não muda depois que os dados são observados.

λ_{0}

$\lambda_0$

Xi'an

(3) Ao coletar amostras da distribuição Gamma na etapa 2 do amostrador Gibbs, observe que eu condiciono os dados completos, gerados na etapa 1 do amostrador Gibbs. Assim, eu "conheço" todos os valores dos 's, mesmo aqueles para os quais . Por favor, tente entender a distinção entre e , esta é a idéia fundamental por trás do princípio de aumento de dados.

x_{i}

$x_i$

x_{i}^{*} = 1

$x_i^*=1$

x_{i}

$x_i$

x_{i}^{*}

$x_i^*$

Xi'an

(1) A parte corresponde às observações agrupadas.

[{λ + 1} \exp (- λ)]^{n_{1}}

$[\{\lambda+1\}\exp(-\lambda)]^{n_1}$

Xi'an

(2) Essa é uma probabilidade condicional (tente fazer as contas sozinho):

P (x_{i} = 0 | λ, x_{i}^{*} = 1) = P (x_{i} = 0, x_{i}^{*} = 1 | λ) / P (x_{i}^{*} = 1 | λ) = P (x_{i} = 0 | λ) / P (x_{i}^{*} = 1 | λ)

$\mathbb{P}(x_i=0|\lambda,x^∗_i=1)=\mathbb{P}(x_i=0,x^∗_i=1|\lambda)/\mathbb{P}(x^∗_i=1|\lambda)=\mathbb{P}(x_i=0|\lambda)/\mathbb{P}(x^∗_i=1|\lambda)$

Xian

(3) A amostragem de Gibbs funciona por condicionais. Portanto, na etapa 2, condicionamos os que simulamos na etapa 1 (e na etapa 1 no simulamos na etapa 2). Isso significa que esses são conhecidos (mesmo que sejam alterados na próxima iteração) e a soma também. Você definitivamente precisa ler alguma introdução de Gibbs se este ponto fundamental permanece obscuro para você ...

x_{i}

$x_i$

λ

$\lambda$ $x_i$

Xi'an

MCMC e aumento de dados

Respostas: