MCMC em um ambiente frequentista

Eu tenho tentado entender os diferentes problemas em ambientes frequentistas onde o MCMC é usado. Eu sei que o MCMC (ou Monte Carlo) é usado para ajustar GLMMs e talvez em algoritmos Monte Carlo EM. Existem problemas mais freqüentes em que o MCMC é usado?

mcmc monte-carlo expectation-maximization metropolis-hastings frequentist Greenparker
fonte

Quando um modelo bayesiano também pode ser interpretado como um modelo freqüentista (por exemplo, todos os anteriores são planos), o modo posterior é o MLE. Portanto, você pode usar o MCMC para executar o MLE, embora isso possa não ser uma maneira muito boa de fazer isso.

Kodiologist 24/09

@ Kodiologist Claro. Embora seja provável que estejamos interessados na média posterior (se estiver trabalhando com a função de perda de mínimos quadrados), não tentaremos encontrar o MLE. Mas entendo o que você quer dizer.

Greenparker

@ Kodiologist mas por que freqüentador faria isso? Primeiro, isso levaria a vários problemas conceituais (assumindo que o parâmetro é rv, como interpretar os IDHs etc.). Segundo, se frequencista iria utilizá-lo simplesmente em vez de algoritmo de otimização para encontrar estimativa pontual, por que ele iria fazê-lo, já que é uma forma muito ineficiente se você está apenas depois estimativa pontual ...

Tim

Eu me deparei com isso por acidente, mas achei esse um tópico útil. Se não me engano, os métodos de monte carlo geralmente se preocupam com a amostragem de uma distribuição-alvo da qual se pode ou não ser capaz de amostrar diretamente. A mudança entre Bayesiano e Frequentista é a interpretação dos dados como RVs ou os parâmetros são RVs (como afirmado por @Tim). Portanto, parece-me que os métodos de MC não são "bayesianos" nem "freqüentistas". É a filosofia aplicada ao seu uso que cria uma distinção. Essa seria uma avaliação correta?

Jon

@ Greenparker, portanto, no MC clássico, você pode ter a situação que e é uma distribuição instrumental. Se estou seguindo sua lógica, a amostragem (direta) de não é bayesiana nem freqüentista, mas o uso da média empírica tornaria esse um estimador freqüentista. Esta interpretação da sua lógica está correta?

E [h (x)] = \int h (x) f (x) d x \approx \frac{1}{n} \sum^{n} x_{i}

$E[h(x)] = \int h(x) f(x) dx \approx \frac{1}{n}\sum^n x_i$

x_{i} \sim f

$x_i \sim f$

f

$f$

f

$f$

Jon

Respostas:

Conforme indicado nos muitos comentários, Markov Chain Monte Carlo é um caso especial do método Monte Carlo, projetado para aproximar quantidades relacionadas a uma distribuição por meio de simulação de números pseudo-aleatórios. Como tal, ele não tem conexão com um paradigma estatístico específico e com as primeiras instâncias do método, como em Metropolis et al. (1953), não tinham relação com estatística, bayesiana ou freqüentista. Se alguma coisa, esses métodos são naturalmente "freqüentistas" (uma categoria mal definida de qualquer maneira), na medida em que dependem da estabilização das frequências ou das médias em relação à expectativa à medida que o número de simulações aumenta, também conhecida como Lei dos Grandes Números.

Portanto, é possível dentro de problemas complexos não bayesianos usar métodos MCMC para substituir integrais intratáveis. Verifique por exemplo

a otimização de probabilidades sem expressões fechadas, como nos modelos de variáveis latentes e efeitos aleatórios. O algoritmo EM pode falhar ao funcionar devido a uma etapa "E" intratável, nesse caso a expectativa precisa ser substituída por uma aproximação de Monte Carlo ou Markov Chain Monte Carlo . Com uma possível avaliação do erro. Ou pode falhar em funcionar devido a uma etapa "M" intratável; nesse caso, a maximização pode às vezes ser substituída por um procedimento de maximização markoviano, como no recozimento simulado . Ou usando as etapas de Gibbs .
métodos de inferência simulados em econometria, como o método simulado de momentos , inferência indireta , probabilidade empírica .
aproximações de probabilidades com constantes de normalização intratáveis , como Ising, Potts e outros modelos de campos aleatórios de Markov, usando, por exemplo, algoritmos de troca .
frequentistas testes bem-de-forma , o que pode exigir cálculos de probabilidades de cobertura, _values , poderes para estatísticas suficientes ou insuficientes sem densidade de forma fechada, ou condicional em estatísticas auxiliares. Tomemos o exemplo de teste de independência em (grandes) tabelas de contingência (ou derivação do estimador de probabilidade máxima ). $p$
novamente na econometria, estimadores do tipo Laplace ", que incluem médias e quantis de distribuições quase-posteriores definidas como transformações de funções gerais de critérios estatísticos baseados em não-probabilidades, como aquelas em GMM, IV não linear, probabilidade empírica e métodos de distância mínima" (Chernozhukov e Hong, 2003), contam com algoritmos MCMC.

Xi'an
fonte