Estimador robusto de probabilidade marginal do MCMC?

9

Estou tentando calcular a probabilidade marginal de um modelo estatístico pelos métodos de Monte Carlo:

f(x)=∫f(x∣θ)π(θ)dθ

A probabilidade é bem comportada - suave, côncava -, mas de alta dimensão. Eu tentei amostragem de importância, mas os resultados são instáveis ​​e dependem muito da proposta que estou usando. Eu considerei brevemente fazer Monte Carlo Hamiltoniano para calcular amostras posteriores assumindo um uniforme anterior ao longo de e tomando a média harmônica, até que eu vi isso . Lição aprendida, a média harmônica pode ter variação infinita. Existe um estimador MCMC alternativo que é quase tão simples, mas que apresenta uma variação bem comportada?θ

monte-carlo likelihood marginal David Pfau
fonte
Você também pode considerar a amostragem básica de Monte Carlo do anterior. f(x)=Eπ(θ)(f(x|θ))
probabilityislogic
11
Essa é uma solução possível. Nesse caso, lembre-se de que antecedentes impróprios não são mais permitidos, e os antecedentes com um suporte muito difundido provavelmente tornarão difícil a aproximação de Monte Carlo.
Zen
11
Um livro completo sobre o assunto é Chen, Shao e Ibrahim (2001) . Você também pode procurar por palavras-chave como amostragem aninhada, amostragem de ponte, amostragem defensiva, filtros de partículas, Savage-Dickey.
Xi'an

Respostas:

8

Que tal uma amostragem de importância recozida ? Tem uma variação muito menor do que a amostragem de importância regular. Já vi o chamado "padrão ouro", e não é muito mais difícil de implementar do que a amostragem de importância "normal". É mais lento no sentido de que você precisa fazer vários movimentos do MCMC para cada amostra, mas cada amostra tende a ser de alta qualidade, para que você não precise de muitas delas antes que suas estimativas se estabeleçam.

A outra alternativa importante é a amostragem de importância sequencial. Meu senso é que também é bastante simples de implementar, mas requer alguma familiaridade com o Monte Carlo seqüencial (AKA particle filtering), o que me falta.

Boa sorte!

Editado para adicionar : Parece que a postagem do blog Radford Neal ao qual você vinculou também recomenda a Amostragem de Importância Recozida. Deixe-nos saber se funciona bem para você.

David J. Harris
fonte
2

Isso pode ajudar a esclarecer um pouco o cálculo da distribuição marginal. Além disso, eu recomendaria usar um método através de posteriores de potência introduzidas por Friel e Pettitt . Essa abordagem parece bastante promissora, embora tenha algumas limitações. Ou você poderia colocar a aproximação da distribuição posterior pela distribuição normal: se o histograma do MCMC parecer simétrico e normal, isso poderia ser uma aproximação bastante boa.

Tomas
fonte