Quando os métodos bayesianos são preferíveis aos freqüentistas?

Eu realmente quero aprender sobre técnicas bayesianas, por isso tenho tentado me ensinar um pouco. No entanto, estou tendo dificuldade em ver quando o uso de técnicas bayesianas confere uma vantagem sobre os métodos freqüentistas. Por exemplo: eu vi na literatura um pouco sobre como alguns usam anteriores informativos, enquanto outros usam anteriores não informativos. Mas se você estiver usando um prioritário não informativo (o que parece realmente comum?) E descobrir que a distribuição posterior é, digamos, uma distribuição beta ... você não poderia apenas ajustar uma distribuição beta no início e chamar é bom? Não vejo como construir uma distribuição anterior que não diz nada ... pode realmente dizer alguma coisa?

Acontece que alguns métodos que tenho usado em R usam uma mistura de métodos bayesianos e freqüentistas (os autores reconhecem que isso é um tanto inconsistente) e nem consigo discernir quais partes são bayesianas. Além do ajuste da distribuição, não consigo nem imaginar como você usaria métodos bayesianos. Existe "regressão bayesiana"? Como seria isso? Tudo o que posso imaginar é adivinhar a distribuição subjacente repetidamente, enquanto o Frequentist pensa nos dados de alguns, observa-os, vê uma distribuição de Poisson e executa um GLM. (Isso não é uma crítica ... eu realmente não entendo!)

Então ... talvez alguns exemplos elementares ajudem? E se você souber de algumas referências práticas para iniciantes reais como eu, isso também seria muito útil!

Aqui estão alguns links que podem lhe interessar na comparação de métodos freqüentistas e bayesianos:

• http://www.stat.ufl.edu/archived/casella/Talks/BayesRefresher.pdf
  • Arquivado aqui: https://web.archive.org/web/20140308021414/https://stat.ufl.edu/archived/casella/Talks/BayesRefresher.pdf
• http://www.bayesian-inference.com/advantagesbayesian
• http://www.researchgate.net/post/Bayesian_vs_frequentist_statistics2

Em poucas palavras, do jeito que eu entendi, dado um conjunto específico de dados, o frequentista acredita que existe uma distribuição subjacente verdadeira a partir da qual os dados foram gerados. A incapacidade de obter os parâmetros exatos é uma função do tamanho finito da amostra. Os bayesianos, por outro lado, pensam que começamos com alguma suposição sobre os parâmetros (mesmo que sem o saber) e usamos os dados para refinar nossa opinião sobre esses parâmetros. Ambos estão tentando desenvolver um modelo que possa explicar as observações e fazer previsões; a diferença está nas suposições (reais e filosóficas). Como uma declaração concisa e não rigorosa, pode-se dizer que o frequentista acredita que os parâmetros são fixos e os dados são aleatórios; o bayesiano acredita que os dados são fixos e os parâmetros são aleatórios. Qual é o melhor ou preferível? Para responder que você tem que se aprofundar e perceber apenasque suposições cada uma implica (por exemplo, os parâmetros são assintoticamente normais?).

Um dos muitos aspectos interessantes dos contrastes entre as duas abordagens é que é muito difícil ter uma interpretação formal para muitas quantidades que obtemos no domínio freqüentista. Um exemplo é a crescente importância dos métodos de penalização (encolhimento). Quando se obtém estimativas penalizadas de máxima verossimilhança, as estimativas de pontos tendenciosos e os "intervalos de confiança" são muito difíceis de interpretar. Por outro lado, a distribuição posterior bayesiana para parâmetros que são penalizados em relação a zero usando uma distribuição anterior concentrada em torno de zero tem interpretações completamente padrão.

Estou roubando esse atacado do grupo de usuários Stan. Michael Betancourt forneceu essa realmente boa discussão sobre identificabilidade na inferência bayesiana, que acredito que seja válida em seu pedido de contraste entre as duas escolas de estatística.

A primeira diferença com uma análise bayesiana será a presença de anteriores que, mesmo quando fracos, restringirão a massa posterior desses 4 parâmetros em uma vizinhança finita (caso contrário, você não teria um válido válido em primeiro lugar). Apesar disso, você ainda pode não ter identificação no sentido em que o posterior não convergirá para uma massa pontual no limite de dados infinitos. No entanto, em um sentido muito real, isso não importa, porque (a) o limite infinito de dados não é real e (b) a inferência bayesiana não informa estimativas pontuais, mas distribuições. Na prática, essa não-identificação resultará em grandes correlações entre os parâmetros (talvez até não-convexidade), mas uma análise bayesiana adequada identificará essas correlações. Mesmo que você relate marginais de parâmetro único,

$\mu_1$$\mu_2$$\mathcal{N}(x | \mu_1 + \mu_2, \sigma)$$\mu_1 + \mu_2 = 0$$\mu_1$$\mu_2$

$\mu_1$$\mu_2$$\mu_1$$\mu_2$ eixos , o que dá muito mais resumo fiel da incerteza nos parâmetros do que as variações condicionais.

A principal diferença entre as abordagens bayesiana e freqüentista está na definição de probabilidade; portanto, se for necessário tratar as probabilidades estritamente como uma frequência de longo prazo, as abordagens freqüentes são razoáveis; caso contrário, você deve usar uma abordagem bayesiana. Se qualquer interpretação for aceitável, é provável que as abordagens bayesiana e freqüentista sejam razoáveis.

Outra maneira de colocar isso é: se você quer saber quais inferências você pode extrair de um experimento específico, provavelmente quer ser bayesiano; se você quiser tirar conclusões sobre alguma população de experimentos (por exemplo, controle de qualidade), os métodos freqüentistas são bem adequados.

Essencialmente, o importante é saber qual pergunta você deseja responder e escolher a forma de análise que responde mais diretamente à pergunta.