Quais são os fatores que fazem com que as distribuições posteriores sejam intratáveis?

Nas estatísticas bayesianas, é freqüentemente mencionado que a distribuição posterior é intratável e, portanto, deve ser aplicada uma inferência aproximada. Quais são os fatores que causam essa intratabilidade?

A questão é principalmente que a análise bayesiana envolve integrais , geralmente multidimensionais em problemas realistas, e são essas integrais que são tipicamente intratáveis ​​analiticamente (exceto em alguns casos especiais que exigem o uso de conjugados anteriores).

Por outro lado, muitas das estatísticas não bayesianas são baseadas na máxima probabilidade - encontrar o máximo de uma função (geralmente multidimensional), que envolve o conhecimento de suas derivadas , ou seja, diferenciação. Mesmo assim, os métodos numéricos são usados ​​em muitos problemas mais complexos, mas é possível avançar com mais frequência sem eles, e os métodos numéricos podem ser mais simples (mesmo que métodos menos simples tenham melhor desempenho na prática).

Então, eu diria que tudo se resume ao fato de que a diferenciação é mais tratável que a integração.

Tive a oportunidade de fazer essa pergunta pessoalmente a David Blei , e ele me disse que a intratabilidade nesse contexto significa uma de duas coisas:

1. A integral não possui solução de forma fechada. Pode ser quando estamos modelando alguns dados complexos do mundo real e simplesmente não podemos escrever a distribuição no papel.

2. A integral é computacionalmente intratável. Ele recomendou que eu me sentasse com caneta e papel e, na verdade, descobrisse as evidências marginais da mistura bayesiana de gaussianos. Você verá que é computacionalmente intratável, ou seja, exponencial. Ele dá um bom exemplo disso em um artigo recente (ver 2.1 O problema da inferência aproximada ).

FWIW, acho esta escolha de palavras confusa, uma vez que (1) é sobrecarregada em significado e (2) já é amplamente utilizada no CS para se referir apenas à intratabilidade computacional.

Na verdade, existem várias possibilidades:

1. uma expressão de formulário fechado está disponível para o posterior (exemplo: , anterior para : e posterior é uma distribuição ),$Y\sim \text{Bin}(n,\pi)$$\pi$$\text{Beta}(a,b)$$p(\pi|Y=y)$$\text{Beta}(a+y,b+n-y)$
2. o posterior é-se tratável para a constante de normalização (exemplo: , antes de é e )$Y\sim \text{Bin}(n,\pi)$$\log \pi$$N(\mu, \sigma^2)$$p(\pi|Y=y) \propto p(y|\pi) p(\pi)$
3. o processo de geração de dados é um mecanismo complicado que é tão complexo que não podemos anotar um método provável (ou, se é que podemos levar uma eternidade para avaliar), mas podemos simular a partir do processo de geração de dados (por exemplo, algum tipo de processo para determinar como certas propriedades desenvolver ao longo de muitas gerações em uma população). Para continuar o exemplo acima, nesse caso, não teríamos expressão de forma fechada para , mas simularíamos realizações de com um valor específico de (não vamos nem falar sobre o caso em que temos não faço ideia de como os dados surgem ...).$p(y|\pi)$$Y$$\pi$

As pessoas geralmente querem dizer algo como (2) quando falam sobre um posterior (analiticamente) não tratável e algo como (3) quando falam sobre uma probabilidade não tratável. É o terceiro caso em que o cálculo bayesiano aproximado é uma das opções, enquanto no segundo caso os métodos MCMC são geralmente viáveis ​​(o que você pode argumentar que, em certo sentido, é aproximado). Não tenho muita certeza, a qual destes dois a citação que você forneceu se refere.

A rastreabilidade está relacionada à forma fechada de uma expressão .

Diz-se que os problemas são tratáveis ​​se puderem ser resolvidos em termos de uma expressão de forma fechada.

Em matemática, uma expressão de forma fechada é uma expressão matemática que pode ser avaliada em um número finito de operações. Pode conter constantes, variáveis, certas operações "conhecidas" (por exemplo, + - × ÷) e funções (por exemplo, enésima raiz, expoente, logaritmo, funções trigonométricas e funções hiperbólicas inversas), mas geralmente sem limite. O conjunto de operações e funções admitidas em uma expressão de forma fechada pode variar de acordo com o autor e o contexto.

Portanto, a intratabilidade significa que há algum tipo de limite / infinito envolvido (como soma infinita em integrais) que não pode ser avaliado em um número finito de operações e, portanto, técnicas de aproximação (como MCMC) devem ser usadas.

O artigo da Wikipedia aponta para a tese de Cobham, que tenta formalizar essa "quantidade de operações" e, portanto, tratabilidade.