Podemos alterar a taxa de aceitação no algoritmo Metropolis de passeio aleatório alterando o parâmetro da distribuição da proposta?

Deixe a distribuição de destino ser . Seja a densidade da proposta para um novo estado no estado atual . A taxa de aceitação é $\pi$ $p(x_2 | x_1)$ $x_2$ $x_1$

α = min (1, \frac{π (x_{2}) p (x_{1} | x_{2})}{π (x_{1}) p (x_{2} | x_{1})})

$\alpha = \min(1, \frac{\pi(x_2) p(x_1|x_2)}{\pi(x_1) p(x_2|x_1)})$

Se eu estiver correto, no algoritmo Metropolis de passeio aleatório, a densidade da proposta é simétrica no sentido de que $p(x_2 | x_1) = p(x_1 | x_2)$ , portanto, a taxa de aceitação não depende da densidade da proposta, mas apenas na distribuição de destino $\pi$ a ser amostrada. Portanto, alterar o parâmetro da distribuição da proposta não alterará a taxa de aceitação $\alpha$ .

Por exemplo, se a distribuição da proposta, no estado atual $x_1$ , for uma distribuição gaussiana centrada no estado atual com uma variação constante, ou seja, $N(x_1, \sigma^2)$ , que é simétrico no sentido acima, será alterar a variância $\sigma^2$ da distribuição da proposta gaussiana não altera a taxa de aceitação $\alpha$ ?

Obrigado!

mcmc Tim
fonte

Respostas:

Se sua proposta tiver uma variação muito baixa, o novo estado proposto será muito semelhante ao atual, portanto, estará próximo de 1 (no limite, com variação 0, a proposta e o estado atual serão os mesmos e você terá exatamente igual a 1), portanto, a taxa de aceitação será próxima de 100%. $\frac{\pi(x_2)}{\pi(x_1)}$

Se sua proposta tiver alta variação, no entanto, (pelo menos algumas vezes) será muito menor que 1, portanto, sua taxa de aceitação se aproximará cada vez mais de 0%. Portanto, a taxa de aceitação diminui à medida que a variação da proposta aumenta. $\frac{\pi(x_2)}{\pi(x_1)}$

O problema com variações muito baixas (o que aumentará a taxa de aceitação) é que elas levam mais tempo para explorar o espaço posterior, nunca se afastando do estado atual. Métodos adaptativos de MCMC como Haario et Al. tente lidar com esse problema alterando a matriz de variações da proposta rapidamente.

Para ajustar sua taxa de aceitação, você pode apenas tentar aumentar e diminuir a variação, uma abordagem de tentativa e erro. Mas, dependendo da geometria do posterior, a taxa de aceitação pode mudar drasticamente durante o processo de amostragem. Além disso, para modelos multiparâmetros, a matriz de covariância da proposta possui muitos termos de variância e covariância e esse método se torna impraticável.

Existem métodos mais sofisticados para lidar com isso, como o método de metrópole adaptativa descrito no link acima, ou você pode dar uma olhada em outros métodos, como os listados aqui . Você também pode experimentar softwares como Jags e Stan se o Metropolis não funcionar para o seu problema.

random_user
fonte

Obrigado! você pode ver minha postagem atualizada? por "Pr (estado da proposta)", você quer dizer "Pr (estado da proposta | estado atual)"?

Tim

Olá, na sua nova notação, eu quis dizer . Eu não me incomodei com desde que você disse que está trabalhando com uma proposta simétrica e, portanto, a relação deles é constante e igual a 1 para a variação que você escolher.

π (x_{2}) / π (x_{1})

$\pi(x_2)/\pi(x_1)$

p (x_{1} | x_{2}) / p (x_{2} | x_{1})

$p(x_1|x_2)/p(x_2|x_1)$

random_user 28/02

Expandimos a resposta um pouco para explicar isso.

random_user 28/02

porque o estado da proposta é uma variável aleatória, está correto que não há como controlar a taxa de aceitação em um intervalo como [0,2,0,5]?

Tim

Isso dependerá da geometria do AFAIK posterior. Se sua posterior é uma distribuição normal ou algo próximo a ela e se você tem uma distribuição de proposta que também é normal, não vejo por que você não conseguiu "controlar" sua taxa de aceitação tentando por tentativa e erro na variação do proposta. Obviamente, problemas reais podem ser (e são) muito mais complexos que isso.

random_user 28/02

Acho que observar algumas definições pode ser benéfico para referência futura a esta pergunta e resposta.

A proporção do número de estados propostos aceitos e o número de proposições fornece a taxa de aceitação. Observe que a taxa de aceitação é a taxa de aceitação ao longo da caminhada aleatória.

$\alpha$ na questão é chamado de "probabilidade de aceitação" por Robert & Casella em seu livro Introdução aos métodos de Monte Carlo com R (2010, p. 171). Isso é bastante razoável, pois , em sua apresentação, adaptado à notação da pergunta, é visto aqui: $\alpha$

x_{2} = {\begin{cases} x_{2} & with probability α (x_{2}, x_{1}) \\ x_{1} & with probability 1 - α (x_{2}, x_{1}) \end{cases} where α (x_{2}, x_{1}) = min {1, \frac{π (x_{2}) p (x_{1} | x_{2})}{π (x_{1}) p (x_{2} | x_{1})}}

$x_2= \begin{cases} x_2 & \quad \text{with probability } \alpha(x_2,x_1) \\ x_1 & \quad \text{with probability } 1 - \alpha(x_2,x_1)\\ \end{cases} \\ \\ \text{where }\ \alpha(x_2,x_1) = \min\left\{1, \frac{\pi(x_2)p(x_1 | x_2)}{\pi(x_1)p(x_2 | x_1)}\right\}$

Agora observe que aqui pode se tornar independente da densidade da proposta no caso de uma proposta de passeio aleatório quando . No entanto, a taxa de aceitação conforme definida acima ainda depende dela devido aos motivos explicados por random_user. $\alpha$ $p(x|y)=p(y|x)$

Robert e Casella são muito claros em diferenciar os dois e definem o último como "[...] a média da probabilidade de aceitação das iterações".

Tenho pouca experiência no assunto, mas foi o suficiente para eu observar que o que é referido em questão por "taxa de aceitação" às vezes é chamado de "taxa de aceitação" (consulte a Wikipedia, por exemplo), levando a confusões semelhantes às da questão.

Oğuzhan Öğreden
fonte