Qual é a conexão entre a cadeia de Markov e a cadeia de Markov monte carlo

Estou tentando entender as cadeias de Markov usando SAS. Entendo que um processo de Markov é aquele em que o estado futuro depende apenas do estado atual e não do estado passado e existe uma matriz de transição que captura a probabilidade de transição de um estado para outro.

Mas então me deparei com esse termo: cadeia de Markov Monte Carlo. O que eu quero saber é se a Cadeia de Markov Monte Carlo está de alguma forma relacionada ao processo de Markov que eu descrevi acima?

Bem, sim, existe uma relação entre os dois termos, porque os empates do MCMC formam uma cadeia de Markov. De Gelman, Bayesian Data Analysis (3a ed), p. 265:

A simulação da cadeia de Markov (também chamada Monte Carlo da cadeia de Markov ou MCMC) é um método geral baseado em desenhar valores de de distribuições apropriadas e, em seguida, corrigi-los para melhor aproximar a distribuição posterior alvo, p ( θ | y ) . A amostragem é feita seqüencialmente, com a distribuição dos sorteios amostrados, dependendo do último valor sorteado; portanto, os sorteios formam uma cadeia de Markov.$\theta$$p(\theta|y)$

A conexão entre os dois conceitos é que os métodos Monte Carlo da cadeia de Markov (aka MCMC) confiam na teoria da cadeia de Markov para produzir simulações e aproximações de Monte Carlo a partir de uma distribuição alvo complexa .$\pi$

Na prática, esses métodos de simulação produzem uma sequência que é uma cadeia de Markov, ou seja, de tal forma que a distribuição de X i, considerando todo o passado { X i - 1 , … , X 1 }, depende apenas de X i - 1 . Em outras palavras, X i = f ( X i - 1 , ϵ i ) onde $X_1,\ldots,X_N$$X_i$$\{X_{i-1},\ldots,X_1\}$$X_{i-1}$

$$X_i=f(X_{i-1},\epsilon_i)$$ $f$é uma função especificada pelo algoritmo e a distribuição alvo e os ε i 's são iid. As garantias teoria (ergodic) que X i converge (na distribuição) para pi como i chega a ∞ .$\pi$$\epsilon_i$$X_i$$\pi$$i$$\infty$

O exemplo mais fácil de um algoritmo MCMC é o amostrador de fatia : na iteração i deste algoritmo, faça

1. simular $\epsilon^1_i\sim\mathrm{U}(0,1)$
2. $X_{i}\sim\mathrm{U}(\{x;\pi(x)\ge\epsilon^1_i\pi(X_{i-1})\})$$\epsilon^2_i$

$\mathrm{N}(0,1)$

1. simular ϵ 1 i ∼ U ( 0 , 1 $\epsilon^1_i\sim\mathrm{U}(0,1)$
2. $X_{i}\sim\mathrm{U}(\{x;x^2\le-2\log(\sqrt{2\pi}\epsilon^1_i\})$$X_i=\pm \epsilon_i^2\{-2\log(\sqrt{2\pi}\epsilon^1_i)\varphi(X_{i-1})\}^{1/2}$$\epsilon_i^2\sim\mathrm{U}(0,1)$

ou em R

T=1e4
x=y=runif(T) #random initial value
for (t in 2:T){
  epsilon=runif(2)#uniform white noise 
  y[t]=epsilon[1]*dnorm(x[t-1])#vertical move       
  x[t]=sample(c(-1,1),1)*epsilon[2]*sqrt(-2*#Markov move from
        log(sqrt(2*pi)*y[t]))}#x[t-1] to x[t]

$\mathrm{N}(0,1)$$(X_i)$

$(X_i,\epsilon^1_i\pi(X_i))$

curve(dnorm,-3,3,lwd=2,col="sienna",ylab="")
for (t in (T-100):T){
lines(rep(x[t-1],2),c(y[t-1],y[t]),col="steelblue");
lines(x[(t-1):t],rep(y[t],2),col="steelblue")}

que segue movimentos verticais e horizontais da cadeia de Markov sob a curva de densidade alvo.