Ajuda na maximização de expectativas do papel: como incluir a distribuição prévia?

9

A questão é baseada no artigo intitulado: Reconstrução de imagens em tomografia óptica difusa usando o modelo de transporte-difusão radiativa acoplada

Link para Download

Os autores aplicam EM algoritmo com l1 sparsity regularização de um vector desconhecida μ para estimar os pixels de uma imagem. O modelo é dado por

(1)y=Aμ+e
A estimativa é dada na Eq (8) como

(2)μ^=argmaxlnp(y|μ)+γlnp(μ)

No meu caso, considerei μ um filtro de comprimento L e μ são vetores L×1 representando os filtros. Então,

O modelo pode ser reescrito como

(3)y(n)=μTa(n)+v(n)

Pergunta: Formulação do problema: μ(n) (n por 1) é a entrada não observada e {e(n)} é a média zero com variação desconhecida σe2 ruído aditivo. A solução MLE será baseada na Expectation Maximization (EM).

No artigo Eq (19) está a função A - a probabilidade total de log completa, mas para o meu caso não entendo como posso incluir a distribuição de A,μ na expressão completa de probabilidade de log.

Qual será a probabilidade de log completa usando EM de y incluindo a distribuição anterior?

SKM
fonte
Você realmente deseja a probabilidade do log ou deseja o log-posterior? Somente este último incluirá o prior da Lapônia. O primeiro pode apenas ser obtida tomando o log da probabilidade, que parece que você já escreveu para fora
Há duas expressões que eu quero: (1) Uma que será usada para encontrar a Matriz de Informações de Fisher e a (2) outra será o pdf do conjunto completo de dados que inclui a variável oculta e as observâncias que são as juntas. densidade de probabilidade dos dados observados em função do parâmetro θ . O pdf que escrevi é aplicável ao modelo MA para estimativa cega de θ . Mas como será diferente para a restrição de esparsidade = Laplacian anterior, para que a Matriz de Informações de Fisher das derivadas parciais da probabilidade logarítmica possa ser encontrada. Zθθ
SKM
@ Xi'an: Eu não entendo como conectar os 3 pdfs, que inclui o anterior na formulação da probabilidade de log. Eu posso calcular a maximização que é pegar a derivada parcial e igualar a zero. Você poderia, por favor, responder com a expressão de probabilidade explicitamente escrita. Isso realmente vai ajudar
SKM

Respostas:

3

log L ( θ | x ) = E [ log L ( θ | x , Z ) | x , θ ] - E [ log q

argmaxθL(θ|x)π(θ)=argmaxθlogL(θ|x)+logπ(θ)
logL(θ|x)=E[logL(θ|x,Z)|x,θ]E[logq(Z|x,θ)|x,θ]
θ
q(z|x,θ)=f(x,z|θ)/g(x|θ)
z Z log g ( x | θ ) = log f ( x , z | θ ) - log q ( z | x , θ ) = E [ log f ( x , Z | θ ) - log q ( Z | x , θ ) | x ] Z X = x
g(x|θ)=f(x,z|θ)/q(z|x,θ)
zZ
logg(x|θ)=logf(x,z|θ)logq(z|x,θ)=E[logf(x,Z|θ)logq(Z|x,θ)|x]
Zdado , por exemplo . Portanto, se maximizarmos em com a solução , temos enquanto pelos argumentos padrão de EM. Portanto, e usando como passo E o destino X=xq(z|x,θ)θ
E[logL(θ|x,Z)|x,θ]+logπ(θ)
θ1
E[logL(θ1|x,Z)|x,θ]+logπ(θ1)E[logL(θ|x,Z)|x,θ]+logπ(θ)
E[logq(Z|x,θ)|x,θ]E[logq(Z|x,θ1)|x,θ]
E[logL(θ1|x,Z)|x,θ]+logπ(θ1)E[logL(θ|x,Z)|x,θ]+logπ(θ)
E[logL(θ|x,Z)|x,θ]+logπ(θ)
leva a um aumento na parte posterior em cada etapa M, o que significa que o algoritmo EM modificado converge para um mapa local.
Xi'an
fonte
Obrigado por sua resposta. Será representam a pdf de ? Poderia, por favor, explicar por que existem duas expectativas com Sendo subtraído na Equação mencionada na segunda linha? Z E [ l o g q ( . ) ]q()ZE[logq(.)]
SKM
Eu adicionei algumas explicações, mas você deve verificar em um livro a derivação do algoritmo EM, pois esse é um material padrão.
Xian
1

Eu não acho que mostrar aumento monotônico log-posterior (ou probabilidade logarítmica para MLE) seja suficiente para mostrar convergência para o ponto estacionário da estimativa de MAP (ou MLE). Por exemplo, os incrementos podem se tornar arbitrariamente pequenos. No famoso artigo de Wu 1983 , uma condição suficiente para convergir para o ponto estacionário de EM é a diferenciabilidade nos dois argumentos da função de limite inferior.

Jim.Z
fonte