Taxa de aceitação para Metropolis-Hastings> 0,5

7

Como é possível obter taxas de aceitação de Metropolis-Hastings perto de 1 (por exemplo, ao explorar uma distribuição unimodal com uma distribuição de proposta normal com SD muito pequeno), após o término da gravação? Eu vejo isso nas minhas próprias cadeias de MCMC, mas não entendo como isso faz sentido. Parece-me que, após atingir a taxa de aceitação da cúpula, estabilize-se em torno de valores menores que 0,5.

TanZor
fonte
11
Não está claro qual é a sua proposta. A razoabilidade da taxa de aceitação depende inteiramente da distribuição da proposta. Acho que você está falando sobre uma proposta de passeio aleatório, mas não tenho certeza.
precisa saber é o seguinte

Respostas:

11

A taxa de aceitação depende em grande parte da distribuição da proposta. Se houver uma pequena variação, a relação das probabilidades entre o ponto atual e a proposta será necessariamente sempre próxima de 1, dando uma alta chance de aceitação. Isso ocorre apenas porque as densidades de probabilidade-alvo com as quais normalmente trabalhamos são localmente Lipschitz (um tipo de suavidade) em pequenas escalas, então a probabilidade de dois pontos próximos é semelhante (informalmente).

Se sua amostra atual estiver próxima do valor do MAP, as propostas terão menos de uma probabilidade de aceitação, mas ainda assim poderão ser muito próximas de 1.

Como observação lateral, a prática padrão é ajustar a distribuição da proposta para obter uma taxa de aceitação de 0,2-0,25. Veja aqui uma discussão sobre isso.

AaronDefazio
fonte
11
Obrigado Aaron! Acabei de perceber que pensava em p (proposto) / (p (atual) + p (proposto)) em vez de p (proposto) / p (atual), como realmente é. Portanto, ao explorar uma distribuição uniforme, a taxa de aceitação deve ser 1, e não 0,5. Legal. Obrigado!
TanZor
11
Essa resposta assume um algoritmo Metropolis de caminhada aleatória, mas isso nunca foi afirmado na pergunta. Se você tiver uma proposta de independência com uma variação pequena, você pode ter as probabilidades de aceitação que estão muito longe de 1.
jaradniemi
8

Um exemplo fácil de probabilidade de aceitação igual a um é ao simular a partir do alvo exato: nesse caso

π(x)q(x,x)π(x)q(x,x)=1x,x
Embora isso pareça um exemplo irreal, uma ilustração genuína é o amostrador de Gibbs, que pode ser interpretado como uma sequência de etapas de Metropolis-Hastings, todas com probabilidade uma.

Uma possível razão para sua confusão é a percepção potencial do algoritmo Metropolis-Hastings como um algoritmo de otimização. O algoritmo gasta mais iterações em regiões de destino mais altas, mas não visa o máximo. E enquantoπ(xMAP)π(x) para todos x, isso não significa que valores com valores-alvo mais baixos são necessariamente rejeitados, pois os valores da proposta q(xMAP,x) e q(x,xMAP) também importam.

Xi'an
fonte
4
+1 para "Metropolis-Hastings não é um algoritmo de otimização". Eu ia postar isso como resposta, mas agora não preciso. :)
Ilmari Karonen
além do número de iterações, como podemos otimizar o algoritmo Metropolis-Hastings?
Marouane1994
A otimização de um algoritmo MH é multifacetada: tempo mínimo para "alcançar" a estacionariedade, autocorrelação negativa máxima, concentração nas direções de variação mais lenta, MCMC imparcial, variação assintótica ideal, amostragem perfeita etc., enquanto calcula o tempo por iteração.
Xian