Problema prático de algoritmo EM

9

Esse é um problema de prática para um exame intermediário. O problema é um exemplo de algoritmo EM. Estou tendo problemas com a parte (f). Listo as partes (a) - (e) para conclusão e, caso tenha cometido um erro anteriormente.

Seja sejam variáveis ​​aleatórias exponenciais independentes com taxa . Infelizmente, os valores reais de não são observados e apenas observamos se os valores de caem dentro de certos intervalos. Seja , e para . Os dados observados consistem em .X1 1,,XnθXXG1 1j=1 1{Xj<1 1}G2j=1 1{1 1<Xj<2}G3j=1 1{Xj>2}j=1 1,,n(G1 1j,G2j,G3j)

(a) Indique a probabilidade observada de dados:

eu(θ|G)=j=1 1nPr{Xj<1 1}G1 1jPr{1 1<Xj<2}G2jPr{Xj>2}G3j=j=1 1n(1 1-e-θ)G1 1j(e-θ-e-2θ)G2j(e-2θ)G3j

(b) Indique a probabilidade completa dos dados

eu(θ|X,G)=j=1 1n(θe-θxj)G1 1j(θe-θxj)G2j(θe-θxj)G3j

(c) Derive a densidade preditiva da variável latentef(xj|G,θ)

f(xj|G,θ)=fX,G(xj,g)fG(g)=θeθxj1{xjregion r s.t. Grj=1}(1eθ)g1j(eθe2θ)g2j(e2θ)g3j

(d) E-passo. Dê a funçãoQ(θ,θi)

Q(θ,θi)=EX|G,θi[logf(x|G,θ)]=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)N2log(eθe2θ)N3loge2θ=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)N2log(eθ(1eθ))+2θN3=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)+θN2N2log(1eθ)+2θN3

ondeN1=j=1ng1j,N2=j=1ng2j,N3=j=1ng3j

(e) Dê expressões para para . r = 1 , 2 , 3E[Xj|Grj=1,θi]r=1,2,3

Vou listar meus resultados, que tenho certeza de que estão certos, mas as derivações seriam um pouco longas para esta questão já longa:

E[Xj|G1j=1,θi]=(11eθi)(1θieθi(1+1/θi))E[Xj|G2j=1,θi]=(1eθie2θi)(eθi(1+1/θi)e2θi(2+1/θi))E[Xj|G3j=1,θi]=(1e2θi)(e2θi(2+1/θi))

Esta é a parte em que estou preso, e pode ser por causa de um erro anterior:

(f) M-Step. Encontre o que maximizaQ ( θ , θ i )θQ(θ,θi)

Pela lei da expectativa total, temos issoE[Xj|G,θi]=(1θieθi(1+1/θi))+(eθi(1+1/θi)e2θi(2+1/θi))+(e2θi(2+1/θi))=1/θi

Q(θ,θi)=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)+θN2N2log(1eθ)+2θN3=nlogθθnθiN1log(1eθ)+θN2N2log(1eθ)+2θN3Q(θ,θi)θ=nθnθi(N1+N2)eθ1eθ+N2+2N3

Em seguida, devo definir isso como zero e resolver , mas tentei isso por um longo tempo e não consigo resolver !θθθ

bdeonovic
fonte
Eu estava interpretando como um poder de por um minuto. Muito confuso. Normalmente, o número da iteração (número da etapa) é colocado entre colchetes ou parênteses para que não seja confundido com a ésima potência . Provavelmente, é melhor pelo menos dizer que é isso que está em questão (supondo que agora eu esteja certo). θ [ i ] ( i ) θ ( i ) i θ iθiθ[i](i)θ(i)iθi
Glen_b -Reinstate Monica
11
Sim Glen, sinto muito por isso, é realmente o th iteração do algoritmo EM. i
Bdeonovic 12/05

Respostas:

5

A probabilidade completa de dados não deve envolver o G! Deve ser simplesmente a probabilidade de quando os são exponenciais. Observe que a probabilidade de dados completos, como você escreveu, simplifica para uma probabilidade exponencial, pois apenas um dos pode ser 1. Deixar os na probabilidade de dados completa, no entanto, atrapalha você mais tarde. X G r j GθXGrjG

Na parte (d) deve-se considerar a expectativa da probabilidade completa do log de dados, não a probabilidade observada do log de dados.

Além disso, você não deve estar usando a lei da expectativa total! Lembre-se de que G é observado e não é aleatório; portanto, você deve executar apenas uma dessas expectativas condicionais para cada . Simplesmente substitua essa expectativa condicional pelo termo e execute a etapa M.X ( i ) jXjXj(i)

jsk
fonte
@Benjamin Como está o problema? Consegui ajudá-lo a entender como fazê-lo?
jsk
Obrigado pelos comentários @jsk. Eu estava cansado noite passada, então fui para a cama, mas eu vou enfrentar isso de novo esta manhã, depois do café :)
bdeonovic
Eu acho que descobri! Mais uma vez obrigado! Na verdade, isso estava se preparando para uma final que eu tenho hoje, então realmente ajudou a esclarecer algumas coisas sobre o EM.
Bdeonovic 12/05
De nada. Espero que sua final corra bem hoje!
jsk
4

Com base nos comentários de @ jsk, tentarei corrigir meus erros:

eu(θ|X,G)=j=1 1nθe-θxj

Q(θ,θEu)=nregistroθ-θj=1 1nE[Xj|G,θEu]=nregistroθ-θ(j=1 1ng1 1j1 1-e-θEu)(1 1θEu-e-θEu(1 1+1 1/θEu))-θ(j=1 1ng2je-θEu(1 1-e-θEu))(e-θEu(1 1+1 1/θEu)-e-2θEu(2+1 1/θEu))-θ(j=1 1ng3je-2θEu)(e-2θEu(2+1 1/θEu))=nregistroθ-θN1 1UMA-θN2B-θN3CQ(θ,θEu)θ=nθ-N1 1UMA-N2B-N3C=set0 0

resolvendo , obtemosθθ(Eu+1 1)=nN1 1UMA+N2B+N3C

bdeonovic
fonte