Distribuição de propostas - Metropolis Hastings MCMC

8

Na cadeia de Monte Carlo, Metropolis-Hastings Markov, a distribuição da proposta pode ser qualquer coisa, incluindo o gaussiano (de acordo com a Wikipedia).

P: Qual é a motivação para usar algo diferente de gaussiano? O trabalho gaussiano, é fácil de avaliar, é rápido e todo mundo entende. Por que eu consideraria mais alguma coisa?

P: Como a distribuição da proposta pode ser qualquer coisa, posso usar uma distribuição uniforme?

Olá Mundo
fonte

Respostas:

10

A1: De fato, a distribuição gaussiana é provavelmente a distribuição de proposta mais usada, principalmente devido à facilidade de uso. No entanto, pode-se querer usar outras distribuições de proposta pelo seguinte motivo

  1. Caudas Pesadas : A distribuição Gaussiana tem caudas leves. Isso significa que possivelmente sugere apenas valores entre . Mas uma distribuição tem caudas mais pesadas e, portanto, pode propor valores mais distantes. Isso garante que a cadeia de Markov resultante explore o espaço de estados mais livremente e possivelmente reduz a autocorrelação. O gráfico abaixo mostra o comparado ao t 1 . Você vê como o t provavelmente proporá mais valores a partir de 0.( x t - 1 - 3 σ , x t - 1 + 3 σ ) t N ( 0 , 1 )N(xt-1,σ2)(xt-1-3σ,xt-1+3σ)tN(0 0,1)t1t

insira a descrição da imagem aqui

  1. (0 0,1)(0 0,1)
  2. Múltiplos modos : quando a distribuição de destino é multimodal, uma proposta gaussiana provavelmente levará a cadeia de Markov a ficar presa perto de um modo. Isto é em parte devido às caudas leves do gaussiano. Portanto, as pessoas usam propostas baseadas em gradiente ou uma mistura de gaussianos como proposta.

Você pode encontrar mais discussões aqui e aqui .

(xt-1-c,xt-1+c)

Greenparker
fonte
1
xt-1xt+1
3
@ Greenparker: você precisa esclarecer melhor o que você quer dizer com "o espaço". O suporte da distribuição de destino pode ser ilimitado, enquanto o suporte de uma proposta uniforme é limitado, mas a proposta uniforme correspondente ainda pode produzir uma cadeia de Markov irredutível em todo o espaço.
Xian
1. sigma é um parâmetro de escolha, portanto, este argumento é inválido. 2. Se você estiver discutindo MH com passeio aleatório (como 1. indica), isso será apenas um problema no limite.
precisa saber é o seguinte
σ