Os bayesianos argumentam que há casos em que sua abordagem generaliza / se sobrepõe à abordagem freqüentista?

Os bayesianos alguma vez argumentam que sua abordagem generaliza a abordagem freqüentista, porque é possível usar priores não informativos e, portanto, recuperar uma estrutura de modelo freqüentista típica?

Alguém pode me indicar um lugar onde eu possa ler sobre esse argumento, se ele realmente for usado?

Edição: Esta pergunta talvez seja formulada não exatamente da maneira que eu quis dizer. A pergunta é: "existe alguma referência à discussão dos casos em que a abordagem bayesiana e a abordagem freqüentista se sobrepõem / se cruzam / têm algo em comum através do uso de um determinado anterior?" Um exemplo seria usar o anterior incorreto , mas tenho certeza de que essa é apenas a ponta da ponta do iceberg.$p(\theta) = 1$

Vi dois argumentos avançados de que a análise bayesiana é uma generalização de uma análise freqüentista. Ambos eram um tanto irônicos, e mais levando as pessoas a reconhecer as suposições sobre modelos de regressão usando priors como contexto.

Argumento 1: A análise freqüentista é a análise bayesiana com um prior puramente não informativo centrado no zero (sim, não importa onde está centrado, mas ignore isso). Isso fornece tanto o contexto para o qual um bayesiano pode extrair os resultados de uma análise freqüencialista, explica por que você pode usar algumas técnicas "bayesianas", como o MCMC, para extrair estimativas freqüentes em situações em que, por exemplo, a convergência de probabilidade máxima é difícil e obtém as pessoas reconhecem que, quando dizem "Os dados falam por si" e coisas do gênero, o que realmente estão dizendo é que, de antemão, todos os valores são igualmente prováveis.

Argumento 2: Qualquer termo de regressão que você não inclua em um modelo foi, com efeito, atribuído a um anterior centrado no zero sem variação. Este não é tanto um argumento "análise bayesiana é uma generalização" quanto um argumento "Há antecedentes em toda parte , mesmo nos seus modelos freqüentadores".

A resposta curta é provavelmente "sim - e você nem precisa de um plano prévio para que esse argumento ocorra".

Por exemplo, a estimativa de Máximo A Posteriori (PAM) é uma generalização da máxima probabilidade que inclui uma prévia, e existem abordagens freqüentes que são analiticamente equivalentes a encontrar esse valor. O freqüentador rotula "o anterior" como "restrição" ou "penalidade" na função de probabilidade e obtém a mesma resposta. Assim, os freqüentadores e bayesianos podem apontar para a mesma coisa como sendo sua melhor estimativa de parâmetro, mesmo que as filosofias sejam diferentes. A seção 5 deste artigo frequentista é um exemplo em que eles são equivalentes.

A resposta mais longa é mais como "sim, mas muitas vezes existem outros aspectos da análise que distinguem as duas abordagens. Mesmo assim, mesmo essas distinções não são necessariamente revestidas de ferro em muitos casos".

Por exemplo, embora os bayesianos às vezes usem a estimativa MAP (modo posterior) quando for conveniente, eles geralmente enfatizam a média posterior. Por outro lado, a média posterior também possui um análogo freqüentista, chamado estimativa "ensacada" (de "agregação de bootstrap") que pode ser quase indistinguível (consulte este pdf para obter um exemplo deste argumento). Portanto, também não é realmente uma distinção "difícil".

Na prática, tudo isso significa que, mesmo quando um frequentista faz algo que um bayesiano consideraria totalmente ilegal (ou vice-versa), muitas vezes há (pelo menos em princípio) uma abordagem do outro campo que daria quase o mesmo anser.

A principal exceção é que alguns modelos são realmente difíceis de encaixar de uma perspectiva freqüentista, mas isso é mais uma questão prática do que filosófica.

Edwin Jaynes foi um dos melhores em destacar as conexões entre inferência bayesiana e freqüentista. Seus intervalos de confiança de papel versus intervalos bayesianos (pesquisa no Google traz isso à tona) como uma comparação muito completa - e acho justa.

A estimativa de área pequena é outra área em que as respostas ML / REML / EB / HB tendem a ser próximas.

Muitos desses comentários assumem que "frequentista" significa "estimativa de probabilidade máxima". Algumas pessoas têm uma definição diferente: "frequentista" significa um tipo de análise das propriedades inferenciais de longo prazo de qualquer método de inferência - seja bayesiano, ou método dos momentos, ou máxima verossimilhança, ou algo expresso em não probabilístico. termos (por exemplo, SVM), etc.

Eu gostaria de ouvir de Stephane ou algum outro especialista bayesiano sobre isso. Eu diria que não, porque é uma abordagem diferente, não uma generalização. Em outro contexto, isso já foi discutido aqui antes. Não pense que, apenas porque os priores planos produzem resultados próximos à probabilidade máxima de que um método bayesiano com um plano anterior seja freqüentador! Penso que isso seria uma falsa presunção que o levaria a pensar que, ao tornar o prior arbitrário, você está generalizando para outros possíveis anteriores. Eu não penso assim e tenho certeza que a maioria dos bayesianos também não.

Então, algumas pessoas argumentam, mas não acho que devam ser classificadas como bayesianas

embora Stephane tenha apontado a dificuldade com uma classificação forte. Então, estritamente falando, se a palavra for verdadeira, acho que pode depender de como você define bayesiano.