MCMC com algoritmo Metropolis-Hastings: escolhendo a proposta

11

Eu preciso fazer uma simulação para avaliar uma integral de uma função de 3 parâmetros, dizemos , que tem uma fórmula muito complicada. É solicitado o uso do método MCMC para computá-lo e implementar o algoritmo Metropolis-Hastings para gerar os valores distribuídos como , e foi sugerido o uso de 3 variáveis ​​normais como distribuição da proposta. Lendo alguns exemplos, vi que alguns usam um normal com parâmetros fixos e outros usam uma variável média , onde é o último valor aceito conforme distribuído de acordo com . Tenho algumas dúvidas sobre as duas abordagens:f N ( μ , σ ) N ( X , σ ) X fffN(μ,σ)N(X,σ)Xf

1) Qual o significado de escolher o último valor aceito como a nova média da distribuição da nossa proposta? Minha intuição diz que deve garantir que nossos valores estarão mais próximos dos valores distribuídos como e as chances de aceitação seriam maiores. Mas não concentra muito nossa amostra? É garantido que, se eu conseguir mais amostras, a corrente ficará estacionária?f

2) A escolha de parâmetros fixos (já que é realmente difícil de analisar) seria realmente difícil e dependente da primeira amostra que precisamos escolher para iniciar o algoritmo? Nesse caso, qual seria a melhor abordagem para descobrir qual é a melhor?f

Uma dessas abordagens é melhor que a outra ou isso depende do caso?

Espero que minhas dúvidas sejam claras e eu ficaria feliz se alguma literatura pudesse ser fornecida (eu li alguns trabalhos sobre o tema, mas mais é melhor!)

Desde já, obrigado!

Giiovanna
fonte

Respostas:

8

1) Você pode pensar nesse método como uma abordagem de caminhada aleatória. Quando a distribuição da proposta , é comumente referida como o Algoritmo de Metrópolis. Se for muito pequeno, você terá uma alta taxa de aceitação e explorará muito lentamente a distribuição de destino. De fato, se for muito pequeno e a distribuição for multimodal, o amostrador poderá ficar preso em um modo específico e não poderá explorar completamente a distribuição de destino. Por outro lado, se for muito grande, a taxa de aceitação será muito baixa. Como você tem três dimensões, a distribuição da sua proposta teria uma matriz de covariânciaσ 2 σ 2 σ 2 Σ ΣxxtN(xt,σ2)σ2σ2σ2Σo que provavelmente exigirá diferentes variações e covariâncias para cada dimensão. Escolher um apropriado pode ser difícil.Σ

2) Se a distribuição da sua proposta é sempre , esse é o algoritmo independente Metropolis-Hastings, pois a distribuição da proposta não depende da amostra atual. Esse método funciona melhor se a distribuição da proposta for uma boa aproximação da distribuição de destino da qual você deseja obter uma amostra. Você está certo de que escolher uma boa aproximação normal pode ser difícil.N(μ,σ2)

O sucesso de nenhum dos métodos deve depender do valor inicial do amostrador. Não importa onde você comece, a cadeia de Markov deve convergir para a distribuição de destino. Para verificar a convergência, você pode executar várias cadeias a partir de diferentes pontos de partida e executar um diagnóstico de convergência, como o diagnóstico de convergência Gelman-Rubin.

jsk
fonte
Não tenho certeza de que a declaração: "2) Se a distribuição da sua proposta é sempre , então este é o algoritmo independente Metropolis-Hastings, pois a distribuição da proposta não depende da sua amostra atual: "está certo porque não está retirando amostras de simétrico e, portanto, isso seria mais corretamente chamado de algoritmo Metropolis, em vez do algoritmo Metropolis-Hasting. Eu não tenho certeza absoluta, então também estou fazendo a pergunta. N ( μ , σ 2 )N(μ,σ2)N(μ,σ2)
rhody
@rhody. O algoritmo Metropolis não descarta o condicionamento em sua localização atual. O ponto principal é vagar lentamente pelo espaço de parâmetros com uma proposta simétrica da sua localização atual. Usando QUALQUER proposta simétrica que depende da sua localização atual e do cálculo da probabilidade de aceitação do Metropolis, você eventualmente convergirá para a distribuição de destino. Para o algoritmo independente Metropolis-Hastings, você deseja que a distribuição da sua proposta seja uma aproximação da distribuição de destino e use um cálculo diferente para a probabilidade de aceitação.
jsk
@rhody. Além disso, é verdade que a distribuição normal é uma distribuição simétrica, mas esse não é o tipo de simetria aqui referido. Se q é a distribuição da sua proposta, a distribuição da proposta será simétrica se q (Y | X) = q (X | Y). Se , então q não é simétrica porque para todos os e . q ( Y ) q ( X ) X YqN(μ,σ2)q(Y)q(X)XY
jsk
@jsk é considerado simétrico, certo? xN(x,ε)
user76284 15/02