Acabei de ler sobre a amostragem de Gibbs e o algoritmo Metropolis Hastings e tenho algumas perguntas.
Pelo que entendi, no caso da amostragem de Gibbs, se tivermos um grande problema multivariado, coletamos amostras da distribuição condicional, ou seja, amostramos uma variável enquanto mantemos todas as outras fixas, enquanto no MH, coletamos amostras da distribuição conjunta completa.
Uma coisa que o documento disse foi que a amostra proposta é sempre aceita na Gibbs Sampling, ou seja, a taxa de aceitação da proposta é sempre 1. Para mim, isso parece uma grande vantagem, pois para grandes problemas multivariados, parece que a taxa de rejeição do algoritmo MH se torna bastante grande. . Se esse é realmente o caso, qual é a razão por trás de não usar o Gibbs Sampler o tempo todo para gerar a distribuição posterior?
Respostas:
a principal lógica por trás do uso do algoritmo Metropolis reside no fato de que você pode usá-lo mesmo quando o posterior resultante é desconhecido. Para amostragem de Gibbs, você precisa conhecer as distribuições posteriores das quais você extrai as variáveis.
fonte
A amostragem de Gibbs quebra a maldição da dimensionalidade na amostragem, pois você dividiu o espaço de parâmetro (possivelmente de alta dimensão) em várias etapas de baixa dimensão. Metropolis-Hastings alivia alguns dos problemas dimensionais das técnicas de amostragem por rejeição de geração, mas você ainda está amostrando a partir de uma distribuição multivariável completa (e decidindo aceitar / rejeitar a amostra), o que faz com que o algoritmo sofra com a maldição da dimensionalidade.
Pense nisso desta maneira simplificada: é muito mais fácil propor uma atualização para uma variável de cada vez (Gibbs) do que todas as variáveis simultaneamente (Metropolis Hastings).
Com isso dito, a dimensionalidade do espaço dos parâmetros ainda afetará a convergência em Gibbs e Metropolis Hastings, uma vez que existem mais parâmetros que potencialmente não poderiam convergir.
Gibbs também é legal porque cada etapa do loop de Gibbs pode estar na forma fechada. Esse é geralmente o caso em modelos hierárquicos em que cada parâmetro é condicionado apenas a alguns outros. Geralmente, é bastante simples construir seu modelo para que cada etapa de Gibbs esteja na forma fechada (quando cada etapa é conjugada, às vezes é chamada de "semi-conjugado"). Isso é bom porque você está coletando amostras de distribuições conhecidas, que geralmente podem ser muito rápidas.
fonte