Monte Carlo Hamiltoniano vs. Monte Carlo Sequencial

23

Estou tentando entender os méritos e desvantagens relativos, bem como os diferentes domínios de aplicativos desses dois esquemas do MCMC.

  • Quando você usaria qual e por quê?
  • Quando um pode falhar, mas o outro não (por exemplo, onde o HMC é aplicável, mas o SMC não e vice-versa)
  • Alguém, concedido de maneira muito ingênua, poderia colocar uma medida de utilidade em um método em comparação com o outro (ou seja, um é geralmente melhor )?

Atualmente, estou lendo o excelente artigo de Betancourt sobre o HMC .

mcmc random-walk particle-filter probabilistic-programming hmc Astrid
fonte
3
O SMC não é uma técnica do MCMC, ou seja, não existe uma cadeia de Markov construída ao usar o SMC.
jaradniemi 03/03
1
Às vezes você usa o mcmc no smc. E às vezes você usa smc dentro de mcmc. No momento em que escrevo isso, não conheço nenhum documento que combine o uso de hmc e smc.
Taylor
1
Eu mesmo gostaria de entender melhor a relação entre SMC (aka, filtro de partículas) e HMC. Obrigado pela pergunta! Faço notar este papel, que parece à primeira vista para representar algum tipo de fusão das duas abordagens: arxiv.org/pdf/1504.05715v2.pdf
David C. Norris

Respostas:

23

O Hamiltonian Monte Carlo tem bom desempenho com distribuições de destino contínuas com formas "estranhas". Requer que a distribuição de destino seja diferenciável, pois basicamente usa a inclinação da distribuição de destino para saber para onde ir. O exemplo perfeito é uma função em forma de banana.

Aqui está uma função padrão do Metropolis Hastings em Banana: Taxa de aceitação de 66% e cobertura muito ruim. Metropolis Hastings com função Banana

Aqui está o HMC: aceitação de 99% com boa cobertura. Metropolis Hastings com função Banana

O SMC (o método por trás da filtragem de partículas) é quase imbatível quando a distribuição de destino é multimodal, especialmente se houver várias áreas separadas com massa. Em vez de ter uma cadeia de Markov presa dentro de um modo, você tem várias cadeias de Markov funcionando paralelamente. Observe que você o usa para estimar uma sequência de distribuições, geralmente de aumento da nitidez. Você pode gerar a nitidez crescente usando algo como recozimento simulado (coloque um expoente progressivamente crescente no alvo). Ou tipicamente, em um contexto bayesiano, a sequência de distribuições é a sequência de posteriores:

P(θ|y1),P(θ|y1,y2),...,P(θ|y1,y2,...,yN)

Por exemplo, essa sequência é um excelente alvo para o SMC: insira a descrição da imagem aqui

A natureza paralela do SMC o torna particularmente adequado para computação distribuída / paralela.

Resumo:

  • HMC: bom para alvo estranho alongado. Não funciona com função não contínua.
  • SMC: bom para casos multimodais e não contínuos. Pode convergir mais lentamente ou usar mais poder de computação para formas estranhas de alta dimensão.

Fonte: A maioria das imagens vem de um artigo que escrevi combinando os 2 Métodos (Monte Carlo Sequencial Hamiltoniano). Essa combinação pode simular praticamente qualquer distribuição que possamos oferecer, mesmo em dimensões muito altas.

RemiDav
fonte
1
Bonito e claro; +1. Não faço ideia por que isso não tem mais votos positivos!
21418 Arboviral
2
Aqui está o papel para os interessados: remidaviet.com/files/HSMC-paper.pdf
stackoverflax