Quando alguém usaria a amostragem de Gibbs em vez de Metropolis-Hastings?

Existem diferentes tipos de algoritmos MCMC:

• Metropolis-Hastings
• Gibbs
• Amostragem de importância / rejeição (relacionada).

Por que alguém usaria a amostragem de Gibbs em vez de Metropolis-Hastings? Suspeito que há casos em que a inferência é mais tratável com a amostragem de Gibbs do que com Metropolis-Hastings, mas não estou claro quanto aos detalhes.

Em primeiro lugar, deixe-me notar [de maneira um tanto pedantemente] que

Existem vários tipos diferentes de algoritmos MCMC: Metropolis-Hastings, Gibbs, amostragem por importância / rejeição (relacionada).

Os métodos de amostragem de importância e rejeição não são algoritmos MCMC porque não são baseados em cadeias de Markov. Na verdade, a amostragem importância não produz uma amostra a partir da distribuição alvo, por exemplo, mas apenas uma importância pesos w por exemplo, para ser utilizado em Monte Carlo aproximações de integrais relacionadas com f . Usar esses pesos como probabilidades para produzir uma amostra não leva a uma amostra adequada de f , mesmo que estimadores imparciais das expectativas sob f possam ser produzidos.$f$$\omega$$f$$f$$f$

Em segundo lugar, a questão

Por que alguém iria com amostras de Gibbs em vez de Metropolis-Hastings? Eu suspeito que há casos em que a inferência é mais tratável com amostras de Gibbs do que com Metropolis-Hastings

não tem resposta em que um amostrador Metropolis-Hastings pode ser quase qualquer coisa, incluindo um amostrador Gibbs. Respondi em termos bastante detalhados a uma pergunta anterior e semelhante. Mas deixe-me adicionar alguns pontos redundantes aqui:

A principal razão pela qual a amostragem de Gibbs foi introduzida foi quebrar a maldição da dimensionalidade (que afeta a rejeição e a amostragem de importância), produzindo uma sequência de simulações de baixa dimensão que ainda convergem para o alvo certo. Mesmo que a dimensão da meta afete a velocidade da convergência. Os amostradores Metropolis-Hastings são projetados para criar uma cadeia de Markov (como a amostragem de Gibbs) com base em uma proposta (como amostragem de importância e rejeição), corrigindo a densidade incorreta por meio de uma etapa de aceitação-rejeição. Mas um ponto importante é que eles não se opõem: a amostragem de Gibbs pode exigir etapas de Metropolis-Hastings ao enfrentar alvos condicionais complexos se de baixa dimensão, enquanto as propostas de Metropolis-Hastings podem ser construídas com aproximações aos condicionais completos de (Gibbs). Numa definição formal, A amostragem de Gibbs é um caso especial do algoritmo Metropolis-Hasting com probabilidade de aceitação de um. (A propósito, eu me oponho ao uso deinferência nessa citação, como eu a reservaria para fins estatísticos , enquanto esses amostradores são dispositivos numéricos .)

Geralmente, a amostragem de Gibbs [entendida como executar uma sequência de simulações condicionais de baixa dimensão] é favorecida em ambientes em que a decomposição em tais condicionais é fácil de implementar e rápida de executar. Em ambientes em que essas decomposições induzem multimodalidade e, portanto, uma dificuldade para se mover entre os modos (modelos de variáveis ​​latentes como modelos de mistura vêm à mente), usar uma proposta mais global em um algoritmo Metropolis-Hasting pode produzir uma eficiência mais alta. Mas a desvantagem é escolher a distribuição da proposta no algoritmo Metropolis-Hasting.