"Totalmente Bayesiano" vs "Bayesiano"

Eu tenho aprendido sobre estatística bayesiana e frequentemente leio artigos

"adotamos uma abordagem bayesiana"

ou algo semelhante. Também notei, com menos frequência:

"adotamos uma abordagem totalmente bayesiana"

(minha ênfase). Existe alguma diferença entre essas abordagens em algum sentido prático ou teórico? FWIW, estou usando o pacote MCMCglmmem R, caso isso seja relevante.

A terminologia "abordagem totalmente bayesiana" nada mais é do que uma maneira de indicar que a pessoa passa de uma abordagem bayesiana "parcialmente" para uma abordagem bayesiana "verdadeira", dependendo do contexto. Ou para distinguir uma abordagem "pseudo-bayesiana" de uma abordagem bayesiana "estritamente".

Por exemplo, um autor escreve: "Diferentemente da maioria dos outros autores interessados ​​que geralmente usavam uma abordagem empírica de Bayes para RVM, adotamos uma abordagem totalmente bayesiana", porque a abordagem empírica de Bayes é uma abordagem "pseudo-bayesiana". Existem outras abordagens pseudo-bayesianas, como a distribuição preditiva bayesiana-freqüentista (uma distribuição cujos quantis correspondem aos limites dos intervalos de previsão freqüentes).

Em desta página vários pacotes R para Bayesiana de inferência são apresentados. O MCMCglmm é apresentado como uma "abordagem totalmente bayesiana" porque o usuário precisa escolher a distribuição anterior, ao contrário dos outros pacotes.

Outro significado possível de "totalmente bayesiano" é quando se executa uma inferência bayesiana derivada da estrutura da teoria de decisão bayesiana, isto é, derivada de uma função de perda, porque a teoria da decisão bayesiana é uma estrutura fundamental sólida para a inferência bayesiana.

Penso que a terminologia é usada para distinguir entre a abordagem bayesiana e a abordagem empírica de Bayes. Full Bayes usa um prior especificado, enquanto Bayes empírico permite que o prior seja estimado através do uso de dados.

"Bayesiano" realmente significa "aproximado Bayesiano".

"Totalmente bayesiano" também significa "aproximado bayesiano", mas com menos aproximação.

Editar : Esclarecimento.

A abordagem totalmente bayesiana seria, para um dado modelo e dados, calcular a probabilidade posterior usando a regra de Bayes Exceto para modelos muito simples, isso tem complexidade computacional muito grande e são necessárias aproximações. Aproximações mais precisas, como o uso do MCMC com amostragem de Gibbs para todos os parâmetros , às vezes são chamadas de "Totalmente Bayesiano". Aproximações menos precisas, como o uso de estimativa de pontos para alguns parâmetros, não podem ser chamadas de "Totalmente Bayesiano". Alguns métodos aproximados de inferência são intermediários, como Bayes Variacional ou Propagação de Expectativas, e às vezes (raramente) também são chamados de "Totalmente Bayesianos".

Eu usaria "totalmente bayesiano" para significar que quaisquer parâmetros de nuissância foram marginalizados da análise, em vez de otimizados (por exemplo, estimativas de MAP). Por exemplo, um modelo de processo gaussiano, com hiperparâmetros ajustados para maximizar a probabilidade marginal, seria bayesiano, mas apenas parcialmente, enquanto que se os hiperparâmetros que definem a função de covariância fossem integrados usando um hiperprior, isso seria totalmente bayesiano. .

Como um exemplo prático:

Eu faço algumas modelagens bayesianas usando splines. Um problema comum com splines é a seleção de nós. Uma possibilidade popular é usar um esquema Monte Carlo em cadeia de Markov com salto reversível (RJMCMC), no qual se propõe adicionar, excluir ou mover um nó durante cada iteração. Os coeficientes para as splines são as estimativas dos mínimos quadrados.

Splines de nó grátis

Na minha opinião, isso o torna apenas 'parcialmente bayesiano' porque, para uma abordagem 'totalmente bayesiana', os anteriores precisariam ser colocados nesses coeficientes (e novos coeficientes propostos durante cada iteração), mas as estimativas dos Mínimos Quadrados não funcionam para o RJMCMC. esquema, e as coisas se tornam muito mais difíceis.

Eu acrescentaria uma caracterização que não foi mencionada até agora. Uma abordagem totalmente bayesiana "totalmente" propaga a incerteza em todas as quantidades desconhecidas através do teorema de Bayes. Por outro lado, abordagens pseudo-Bayes como Bayes empíricas não propagam todas as incertezas. Por exemplo, ao estimar quantidades preditivas posteriores, uma abordagem totalmente bayesiana usaria a densidade posterior dos parâmetros desconhecidos do modelo para obter a distribuição preditiva do parâmetro alvo. Uma abordagem de EB não levaria em conta a incerteza em todas as incógnitas - por exemplo, alguns dos hiperparâmetros podem ser definidos com valores particulares, subestimando a incerteza geral.