Esse é um problema de prática para um exame intermediário. O problema é um exemplo de algoritmo EM. Estou tendo problemas com a parte (f). Listo as partes (a) - (e) para conclusão e, caso tenha cometido um erro anteriormente.
Seja sejam variáveis aleatórias exponenciais independentes com taxa . Infelizmente, os valores reais de não são observados e apenas observamos se os valores de caem dentro de certos intervalos. Seja , e para . Os dados observados consistem em .X1 1, … , XnθXXG1 j= 1 { Xj< 1 }G2 j= 1 { 1 < Xj< 2 }G3 j= 1 { Xj> 2 }j = 1 , … , n( G1 j, G2 j, G3 j)
(a) Indique a probabilidade observada de dados:
L ( θ | G )= ∏j = 1nPr { Xj< 1 }G1 jPr { 1 < Xj< 2 }G2 jPr { Xj> 2 }G3 j= ∏j = 1n( 1 - e- θ)G1 j( e- θ- e- 2 θ)G2 j( e- 2 θ)G3 j
(b) Indique a probabilidade completa dos dados
L ( θ | X, G )= ∏j = 1n( θ e- θ xj)G1 j( θ e- θ xj)G2 j( θ e- θ xj)G3 j
(c) Derive a densidade preditiva da variável latentef( xj| G,θ)
f( xj|G,θ)=fX,G(xj,g)fG(g)=θe−θxj1{xj∈region r s.t. Grj=1}(1−e−θ)g1j(e−θ−e−2θ)g2j(e−2θ)g3j
(d) E-passo. Dê a funçãoQ(θ,θi)
Q(θ,θi)=EX|G,θi[logf(x|G,θ)]=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)−N2log(e−θ−e−2θ)−N3loge−2θ=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)−N2log(e−θ(1−e−θ))+2θN3=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)+θN2−N2log(1−e−θ)+2θN3
ondeN1=∑nj=1g1j,N2=∑nj=1g2j,N3=∑nj=1g3j
(e) Dê expressões para para . r = 1 , 2 , 3E[Xj|Grj=1,θi]r=1,2,3
Vou listar meus resultados, que tenho certeza de que estão certos, mas as derivações seriam um pouco longas para esta questão já longa:
E[Xj|G1j=1,θi]E[Xj|G2j=1,θi]E[Xj|G3j=1,θi]=(11−e−θi)(1θi−e−θi(1+1/θi))=(1e−θi−e−2θi)(e−θi(1+1/θi)−e−2θi(2+1/θi))=(1e−2θi)(e−2θi(2+1/θi))
Esta é a parte em que estou preso, e pode ser por causa de um erro anterior:
(f) M-Step. Encontre o que maximizaQ ( θ , θ i )θQ(θ,θi)
Pela lei da expectativa total, temos
issoE[Xj|G,θi]=(1θi−e−θi(1+1/θi))+(e−θi(1+1/θi)−e−2θi(2+1/θi))+(e−2θi(2+1/θi))=1/θi
Q(θ,θi)∂Q(θ,θi)∂θ=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)+θN2−N2log(1−e−θ)+2θN3=nlogθ−θnθi−N1log(1−e−θ)+θN2−N2log(1−e−θ)+2θN3=nθ−nθi−(N1+N2)e−θ1−e−θ+N2+2N3
Em seguida, devo definir isso como zero e resolver , mas tentei isso por um longo tempo e não consigo resolver !θθθ
Respostas:
A probabilidade completa de dados não deve envolver o G! Deve ser simplesmente a probabilidade de quando os são exponenciais. Observe que a probabilidade de dados completos, como você escreveu, simplifica para uma probabilidade exponencial, pois apenas um dos pode ser 1. Deixar os na probabilidade de dados completa, no entanto, atrapalha você mais tarde. X G r j Gθ X Grj G
Na parte (d) deve-se considerar a expectativa da probabilidade completa do log de dados, não a probabilidade observada do log de dados.
Além disso, você não deve estar usando a lei da expectativa total! Lembre-se de que G é observado e não é aleatório; portanto, você deve executar apenas uma dessas expectativas condicionais para cada . Simplesmente substitua essa expectativa condicional pelo termo e execute a etapa M.X ( i ) jXj X(i)j
fonte
Com base nos comentários de @ jsk, tentarei corrigir meus erros:
resolvendo , obtemosθ θ( i + 1 )= nN1 1A + N2B + N3C
fonte