MCMC e aumento de dados

8

Eu estive analisando uma pergunta de aumento de dados do MCMC; a forma geral da pergunta é a seguinte:

Suponha que os dados coletados em um processo sugiram e um anterior para o parâmetro rate seja sugerido como . Os dados são registrados e apresentados de uma forma típica (ou seja, o número de ocorrências de cada valor para de a ), no entanto, os dados coletados não discriminam os casos em que (ou seja, todas as ocorrências em que e estão agrupadas em uma categoria).λ ~ Exp ( λ 0 ) X i 0 n X i1 X i = 0 X i = 1XiPois(λ)λExp(λ0)Xi0nXi1Xi=0Xi=1

Dados os dados, a probabilidade e o descrito anteriormente, a pergunta pede:

  • A forma posterior de ,λ

  • O número de ocorrências em que .Xi=0

Não tenho muita certeza de como responder a essa pergunta, mas sei que o Gibbs Sampling pode ser usado no aumento de dados. Alguém tem alguma informação sobre como isso pode ser feito?

EDITAR:

Devo especificar que é principalmente a segunda parte (o número de ocorrências em que ) sobre a qual não tenho certeza. Para a primeira parte (a forma posterior de ), dada a probabilidade e o sugerido anteriormente, eu raciocinei (embora eu esteja feliz por ser corrigido):λXi=0λ

Dado:

π(λ|x)p(x|λ)×p(λ)

Então, para o modelo dado acima:

π(λ|x)=λi=1nxii=1nxi!enλ×λ0eλλ0

Simplificando rendimentos:

π(λ|x)=λi=1nxii=1nxi!eλ(n+λ0)λ0

que é proporcional a (e, portanto, a forma posterior é dada por):

π(λ|x)λi=1nxieλ(n+λ0)λ0
user9171
fonte

Respostas:

5

Sua resposta não leva em conta o fato de que as observações iguais a zero e a uma são mescladas: o que você calculou é o posterior para os dados completos de Poisson , em vez dos dados agregados ou mesclados , .( X 1 , , X n )(X1,,Xn)(X1,,Xn)

Se tomarmos a convenção de que casos em que a observação corresponde a ou e a observação a , a densidade do vetor observado é (após uma álgebra e fatoração) que é o número de vezes que são iguais a um. O último termo entre parênteses acima é a probabilidade de obter 0 ou 1 em um empate em Poisson.X i = 1 X i = 0 X i = k > 1 X i = kXi=1Xi=1Xi=0Xi=k>1Xi=kπ ( X | X * 1 , ... , x * n ) α X Σ n i = 1 x * i I ((X1,,Xn) n1xi

π(λ|x1,,xn)λi=1nxiI(xi>1)exp{λ(λ0+n)}×{1+λ}n1
n1xi

Portanto, este é o seu posterior verdadeiro / observado. A partir daí, você pode implementar um amostrador Gibbs

  1. Gerando as "observações ausentes" fornecidas e as observações, ou seja, simulando , que é dada por p (λP ( x i = 0 | λ , x i = 1 ) = 1 - P ( x i = 1 | λ , x i = 1 ) = 1p(xi|λ,xi=1)
    P(xi=0|λ,xi=1)=1P(xi=1|λ,xi=1)=11+λ.
  2. Gerando dados os "dados completos", que equivalem a como você já calculou.X | x 1 , , x nG (λ
    λ|x1,,xnG(ixi+1,n+λ0)

(Se você quiser mais detalhes, o Exemplo 9.7, p.346, no meu livro Métodos Estatísticos de Monte Carlo com George Casella cobre exatamente essa configuração.)

Xi'an
fonte
2
(2) Qualquer algoritmo MCMC pode começar com valores arbitrários porque a cadeia de Markov é recorrente; essa é a idéia principal por trás dos métodos de Monte Carlo da cadeia de Markov. Observe que é um parâmetro do prior: ele é escolhido a priori e não muda depois que os dados são observados. λ0
Xi'an
2
(3) Ao coletar amostras da distribuição Gamma na etapa 2 do amostrador Gibbs, observe que eu condiciono os dados completos, gerados na etapa 1 do amostrador Gibbs. Assim, eu "conheço" todos os valores dos 's, mesmo aqueles para os quais . Por favor, tente entender a distinção entre e , esta é a idéia fundamental por trás do princípio de aumento de dados. xixi=1xixi
Xi'an
2
(1) A parte corresponde às observações agrupadas. [{λ+1}exp(λ)]n1
Xi'an
2
(2) Essa é uma probabilidade condicional (tente fazer as contas sozinho):P(xi=0|λ,xi=1)=P(xi=0,xi=1|λ)/P(xi=1|λ)=P(xi=0|λ)/P(xi=1|λ)
Xian
2
(3) A amostragem de Gibbs funciona por condicionais. Portanto, na etapa 2, condicionamos os que simulamos na etapa 1 (e na etapa 1 no simulamos na etapa 2). Isso significa que esses são conhecidos (mesmo que sejam alterados na próxima iteração) e a soma também. Você definitivamente precisa ler alguma introdução de Gibbs se este ponto fundamental permanece obscuro para você ... λ x ixiλxi
Xi'an