modelos hierárquicos bayesianos vs. Bayes empíricos

12

Você consideraria o HBM vs EB como duas alternativas nas quais os hiperparâmetros estão "no jogo" de serem amostrados / estimados / etc.? Existe claramente uma conexão entre esses dois.

Você consideraria a HBM mais "totalmente bayesiana" que a EB? Existe algum lugar onde eu possa ver quais são as diferenças entre ser "totalmente bayesiano" e as outras alternativas?

Obrigado.

bayesian empirical-bayes Singelton
fonte
1
Para uma discussão sobre o que significa "totalmente Bayesiano" e "Bayes Empírico", veja as respostas em "" Totalmente Bayesiano "vs" Bayesiano "" .
obrigado Procrastinator. Eu ainda gostaria de ouvir uma resposta sobre a relação com modelos bayesianos hierárquicos, se possível.
Singelton
1
Você pode encontrar isso no método empírico Bayes da entrada da wikipedia : "Bayes empírico pode ser visto como uma aproximação a um tratamento totalmente bayesiano de um modelo hierárquico em que os parâmetros no nível mais alto da hierarquia são definidos com seus valores mais prováveis, em vez de sendo integrado ".

Respostas:

10

Eu diria que a HBM é certamente "mais bayesiana" que a EB, pois marginalizar é uma abordagem mais bayesiana do que otimizar. Essencialmente, parece-me que o EB ignora a incerteza nos hiperparâmetros, enquanto a HBM tenta incluí-lo na análise. Suspeito que o HMB seja uma boa ideia em que haja poucos dados e, portanto, incerteza significativa nos hiperparâmetros, que devem ser considerados. Por outro lado, para grandes conjuntos de dados, o EB se torna mais atraente, pois geralmente é menos computacionalmente caro e o volume de dados geralmente significa que os resultados são muito menos sensíveis às configurações de hiperparâmetros.

Trabalhei em classificadores de processos gaussianos e, muitas vezes, otimizei os hiperparâmetros para maximizar os resultados de probabilidade marginal na sobreposição do ML e, portanto, degradação significativa no desempenho da generalização. Eu suspeito que nesses casos, um tratamento completo com HBM seria mais confiável, mas também muito mais caro.

Dikran Marsupial
fonte
6
+1 para EB ignora a incerteza nos hiperparâmetros . Além disso, os fundamentalistas bayesianos consideram o EB anti-bayesiano porque usar os dados para estimar o anterior é uma blasfêmia .
4
Evidentemente eu não sou um fundista bayesiano! Parece-me que a HBM é a coisa certa a fazer, desde que seja realmente viável computacionalmente, no final do dia você precisa ser pragmático até certo ponto (depois de comprar o maior computador disponível; o).
Dikran Marsupial