Por que é desejável ter baixa correlação automática no MCMC?

11

Eu continuo lendo sobre a necessidade de verificar a autocorrelação no MCMC. Por que é importante que a autocorrelação seja baixa? O que ele mede no contexto do MCMC?

sampling autocorrelation mcmc Amelio Vazquez-Reina
fonte

3

De fato, se alguém pudesse produzir autocorrelação negativa alta em um amostrador MCMC, esse amostrador melhoraria com a amostragem iid. Esta é no entanto uma ocorrência muito rara ...

Xi'an

4

A autocorrelação é uma medida de quanto o valor de um sinal se correlaciona com outros valores desse sinal em diferentes pontos no tempo. No contexto do MCMC, a autocorrelação é uma medida de quão diferentes são as amostras independentes de sua distribuição posterior - autocorrelação mais baixa, indicando resultados mais independentes.

Quando você tem alta autocorrelação, as amostras que você desenhou não representam com precisão a distribuição posterior e, portanto, não fornecem informações significativas para a solução do problema. Em outras palavras, menor autocorrelação significa maior eficiência em suas cadeias e melhores estimativas. Uma regra geral seria que, quanto menor a correlação automática, menos amostras serão necessárias para que o método seja eficaz (mas isso pode ser muito simplificador).

Henry Hammond
fonte

Não tenho muita experiência com o MCMC, mas sua última frase não parece muito simplificadora. Se você observar o efeito das correlações automáticas nas estimativas de erro, elas alteram o valor de para que é o tempo de correlação automática medido nos mesmos observáveis. Por isso, é como tendo apenas 'medição eficaz', em vez de . Ainda existe alguma simplificação excessiva nessa declaração?

Δ A^{²} = \frac{Var A}{N}

$\Delta A^² = \frac{\text{Var} A}{N}$

Δ A^{²} = \frac{Var A}{N} (1 + 2 τ)

$\Delta A^² = \frac{\text{Var} A}{N}(1+2\tau)$

τ

$\tau$

A

$A$

\frac{N}{1 + 2 τ}

$\frac{N}{1+2\tau}$

N

$N$

Aprender é uma bagunça

10

Primeiro, e mais obviamente, se a autocorrelação for alta, N amostras não fornecerão N informações sobre sua distribuição, mas menos que isso. O tamanho efetivo da amostra (ESS) é uma medida da quantidade de informações que você realmente está obtendo (e é uma função do parâmetro de autocorrelação).

Da mesma forma, a autocorrelação fornece amostras não representativas 'no curto prazo'. Além disso, quanto mais autocorrelação houver, mais longo será o "curto prazo". Para autocorrelação muito forte, o curto prazo pode ser uma boa fração do total de amostras. Os remédios diretos usuais são parâmetros de re-parametrização ou amostragem que você espera que sejam correlorrelacionados em blocos, e não separadamente, pois, caso contrário, eles gerarão autocorrelação na cadeia. As pessoas também costumam ser "magras", embora haja alguma discussão sobre o quão útil isso é para resolver o problema subjacente, por exemplo, aqui . Kass 1997 é uma discussão informal sobre os problemas, embora provavelmente haja algo mais novo que outros possam recomendar.

Em resumo, uma cadeia fortemente autocorrelacionada leva mais tempo para ir de suas condições iniciais até a distribuição desejada, enquanto é menos informativa e leva mais tempo para explorar essa distribuição quando ela chega lá.

conjugado
fonte

Por que é desejável ter baixa correlação automática no MCMC?

Respostas: