MCMC em um espaço de parâmetro limitado?

18

Estou tentando aplicar o MCMC em um problema, mas meus anteriores (no meu caso eles são )) estão restritos a uma área? Posso usar o MCMC normal e ignorar as amostras que ficam fora da zona restrita (que no meu caso é [0,1] ^ 2), ou seja, reutilizar a função de transição quando a nova transição cair fora da área restrita (restrita)?α[0,1],β[0,1]

Cupitor
fonte
@ Zen, não tenho muita certeza, mas a resposta sugerida por Xian é a de subamostrar, mas em vez de usar o MH, usar o amostrador Gibbs e reiterar se um dos valores de uma dimensão exceder o limite, estou certo?
Cupitor
1
Se o MH propõe algo fora do espaço do parâmetro, a probabilidade de aceitação é definida como e tudo funciona bem. Eu acho que o MH apenas interpreta como (uma manifestação de na teoria da medida). 0 / 0 0 0 = 00 00 0/0 00 00 0=0 0
guy
@ cara, mas de acordo com a discussão na página de xian (link acima por Zen), parece que Gibbs tem uma superioridade sem mencionar qualquer motivo!
Cupitor
1
@ Copit Eu não o vejo dizendo isso. Eu acho que a implicação é que Gabriel estava fazendo Metropolis dentro de Gibbs.
cara

Respostas:

27

Você tem várias opções agradáveis, mais ou menos simples. Seu uniforme anterior ajuda a torná-los mais simples.

Opção 1: Amostrador de independência. Você pode simplesmente definir a distribuição da sua proposta igual a uma distribuição uniforme sobre o quadrado da unidade, o que garante que as amostras não fiquem fora da zona restrita, como você chama. Possível desvantagem: se o posterior estiver concentrado em uma região muito pequena do quadrado da unidade, você poderá ter uma taxa de aceitação muito baixa. OTOH, é difícil gerar números aleatórios mais rapidamente do que a partir de uma distribuição U (0,1). Potencial positivo: menos trabalho para você.

Opção 2: transforme seus parâmetros em algo que não seja delimitado, faça propostas para os parâmetros transformados e depois transforme os parâmetros novamente para uso nas funções de probabilidade. Observe que, neste caso, o prior estará nos parâmetros transformados, porque é para isso que você está fazendo propostas, então você terá que mexer com o jacobiano da transformação para obter o novo prior. Para sua análise, é claro, você transformará os números aleatórios dos parâmetros gerados pelo MCMC de volta aos parâmetros originais. Desvantagem potencial: mais trabalho inicial para você. Pptential upside: melhor taxa de aceitação para suas propostas.

x(nx,n(1-x))nn muito grande e se aproximar de uma esquina, você pode acabar fazendo muitos movimentos pequenos na esquina antes de sair.

Opção 4: Apenas rejeite qualquer proposta que fique fora do quadrado da unidade (sugestão sem entusiasmo de Xian). Observe que isso não é o mesmo que gerar outra proposta; nesse caso, você está rejeitando a proposta, o que significa que seu próximo valor para o parâmetro é o mesmo que o valor atual para o parâmetro. Isso funciona porque é o que aconteceria se você tivesse uma probabilidade zero zero para alguma região do espaço de parâmetro e gerasse um número aleatório que caísse nessa região. Possível desvantagem: se você chegar perto de uma esquina, poderá ter uma baixa probabilidade de aceitação e ficar parado por um tempo. Potencial positivo: menos trabalho para você.

Opção 5: crie um problema estendido no plano que, no quadrado da unidade, seja igual ao problema real que você enfrenta, faça tudo certo e, ao pós-processamento dos resultados da amostragem MCMC, jogue fora todas as amostras do quadrado da unidade. Potencial positivo: se é muito fácil criar esse problema estendido, pode ser menos trabalhoso para você. Possível desvantagem: se a cadeia de Markov se afastar em algum lugar fora do quadrado da unidade por um tempo, você pode ter, com efeito, probabilidades de aceitação horríveis, pois descartará a maioria de suas amostras.

Sem dúvida, existem outras opções, eu estaria interessado em ver o que as outras pessoas sugerem!

n

jbowman
fonte
Vote! Muito obrigado por uma resposta tão completa, mas há alguns pontos que estou lutando para seguir: 1) Na verdade, o espaço do parâmetro vem de um segmento de linha no quadrado e, portanto, é realmente difícil obter uma amostragem uniforme, eu acho. 2) Isso realmente não parece ser uma boa idéia. Para dar uma ilustração simples, imagine estender a amostra limitada apenas definindo a probabilidade da área externa como zero! Isso tornaria o processo de convergência muito lento, eu acho, e provavelmente seria semelhante à subamostragem #
Cupitor 28/10/2013
3) O problema com essa ideia é que sua proposta não é invertível e, portanto, pode ser que o esquema de amostragem resultante não seja mais ergódico!
Cupitor
4) é a maneira que eu tentei e parece razoável (IMH!) 5) Estes parecem sofrer com o exemplo mencionado em 2 e, como você mesmo disse, pode dar taxas de aceitação terríveis!
Cupitor
2
(0 0,inf)x(0 0,1)β
α=2.5(0,5,1)α=3.2.(0 0,0,8)α=0,2(0,2,0 0)