Quando (se alguma vez) é uma abordagem freqüentista substancialmente melhor do que uma bayesiana?

Antecedentes : Não tenho treinamento formal em estatística bayesiana (embora eu esteja muito interessado em aprender mais), mas sei o suficiente - acho - para entender o porquê de muitos se sentirem como se fossem preferíveis às estatísticas freqüentistas. Até os graduandos da turma introdutória de estatística (em ciências sociais) que estou ensinando consideram a abordagem bayesiana atraente: "Por que estamos interessados ​​em calcular a probabilidade dos dados, dado o nulo? Por que não podemos apenas quantificar a probabilidade de a hipótese nula? Ou a hipótese alternativa? E eu também li tópicos como estes , que atestam os benefícios empíricos das estatísticas bayesianas também.Então, me deparei com esta citação de Blasco (2001; ênfase adicionada):

Se o criador de animais não está interessado nos problemas filosóficos associados à indução, mas em ferramentas para resolver problemas, as escolas de inferência bayesiana e freqüentadora estão bem estabelecidas e não é necessário justificar por que uma ou outra escola é preferida. Agora nenhum deles tem dificuldades operacionais, com exceção de alguns casos complexos ... Escolher uma escola ou outra deve estar relacionado à existência de soluções em uma escola que a outra não oferece , à facilidade com que os problemas são resolvidos , e quão confortável o cientista se sente com o modo particular de expressão resulta.

A pergunta : A citação de Blasco parece sugerir que pode haver momentos em que uma abordagem freqüentista seja realmente preferível a uma abordagem bayesiana. E, portanto, estou curioso: quando uma abordagem freqüentista seria preferível a uma abordagem bayesiana? Estou interessado em respostas que abordem a questão conceitualmente (isto é, quando o conhecimento da probabilidade dos dados condicionados à hipótese nula é especialmente útil?) E empiricamente (isto é, sob quais condições os métodos freqüentistas são superiores aos bayesianos?).

Também seria preferível que as respostas fossem transmitidas da maneira mais acessível possível - seria bom levar algumas respostas de volta à minha turma para compartilhar com meus alunos (embora eu entenda que é necessário algum nível de tecnicidade).

Finalmente, apesar de ser um usuário regular das estatísticas freqüentistas, estou realmente aberto à possibilidade de que o Bayesiano apenas vença de maneira geral.

Aqui estão cinco razões pelas quais os métodos frequentistas podem ser preferidos:

• Mais rápido. Dado que as estatísticas bayesianas geralmente dão respostas quase idênticas às respostas freqüentistas (e quando não o fazem, não é 100% claro que o bayesiano é sempre o caminho a percorrer), o fato de que as estatísticas freqüentistas podem ser obtidas frequentemente várias ordens de magnitude mais rapidamente é um argumento forte. Da mesma forma, os métodos freqüentistas não requerem tanta memória para armazenar os resultados. Embora essas coisas possam parecer um tanto triviais, especialmente com conjuntos de dados menores, o fato de que Bayesian e Frequentist geralmente concordam em resultados (especialmente se você tiver muitos dados informativos) significa que, se você se importa, pode começar a se preocupar com os menos importantes coisas. E, claro, se você mora no mundo do big data, isso não é trivial.

• Estatística não paramétrica. Reconheço que a estatística bayesiana tem estatística não paramétrica, mas eu argumentaria que o lado freqüentista do campo tem algumas ferramentas realmente inegavelmente práticas, como a Função de Distribuição Empírica. Nenhum método no mundo jamais substituirá o FED, nem as curvas de Kaplan Meier, etc. (embora claramente isso não quer dizer que esses métodos sejam o fim de uma análise).

• Menos diagnósticos. Os métodos MCMC, o método mais comum para a adaptação de modelos bayesianos, normalmente exigem mais trabalho do usuário do que sua contraparte frequente. Geralmente, o diagnóstico para uma estimativa do MLE é tão simples que qualquer boa implementação de algoritmo o faz automaticamente (embora isso não signifique que toda implementação disponível seja boa ...). Assim, o diagnóstico algorítmico freqüentista é tipicamente "verifique se não há texto em vermelho ao ajustar o modelo". Dado que todos os estatísticos têm largura de banda limitada, isso libera mais tempo para fazer perguntas como "meus dados são realmente aproximadamente normais?" ou "esses riscos são realmente proporcionais?", etc.

• Inferência válida sob especificação incorreta do modelo. Todos nós já ouvimos dizer que "Todos os modelos estão errados, mas alguns são úteis", mas diferentes áreas de pesquisa levam isso mais ou menos a sério. A literatura freqüentista está cheia de métodos para corrigir inferência quando o modelo é mal especificado: estimador de autoinicialização, validação cruzada, estimador sanduíche (o link também discute inferência geral do MLE sob especificação incorreta do modelo), equações de estimativa generalizada (GEE's), métodos de quase-verossimilhança, etc. Até onde eu sei, há muito pouco na literatura bayesiana sobre inferência na especificação incorreta de modelo (embora haja muita discussão sobre verificação de modelo, ou seja, verificações preditivas posteriores). Não acho isso por acaso: avaliar como um estimador se comporta em ensaios repetidos não exige que o estimador seja baseado em um modelo "verdadeiro", mas o uso do teorema de Bayes sim!

• Liberdade do anterior (esse é provavelmente o motivo mais comum pelo qual as pessoas não usam métodos bayesianos para tudo). A força do ponto de vista bayesiano é frequentemente apontada como o uso de priores. No entanto, em todos os campos aplicados em que trabalhei, a idéia de um informativo prévio na análise não é considerada. A leitura de literatura sobre como obter prévios de especialistas não estatísticos fornece boas razões para isso; Eu li artigos que dizem coisas como (homem de palha cruel como parafraseando o meu) "Peça ao pesquisador que o contratou, porque eles têm dificuldade em entender as estatísticas, para determinar que eles têm 90% de certeza do tamanho do efeito que têm problemas em imaginar. Este intervalo normalmente é muito estreito, portanto, arbitrariamente, tente fazê-los aumentar um pouco.Pergunte-lhes se a crença deles se parece com uma distribuição gama. Você provavelmente terá que desenhar uma distribuição gama para eles e mostrar como ela pode ter caudas pesadas se o parâmetro shape for pequeno. Isso também envolverá a explicação do que é um PDF para eles. "(Nota: acho que nem os estatísticos são realmente capazes de dizer com precisãoa priori, se eles têm 90% ou 95% de certeza se o tamanho do efeito está dentro de um intervalo, e essa diferença pode ter um efeito substancial na análise!). Verdade seja dita, eu estou sendo bastante cruel e pode haver situações em que obter um prior pode ser um pouco mais direto. Mas você pode ver como é uma lata de minhocas. Mesmo se você alternar para anteriores não informativos, ainda pode ser um problema; ao transformar parâmetros, o que é facilmente confundido com anteriores não informativos de repente pode ser visto como muito informativo! Outro exemplo disso é que conversei com vários pesquisadores que inflexivelmente nãodeseja ouvir qual é a interpretação dos dados de outro especialista, porque, empiricamente, os outros especialistas tendem a estar confiantes demais. Eles preferem apenas saber o que pode ser deduzido dos dados do outro especialista e depois chegar à sua própria conclusão. Não me lembro onde ouvi, mas em algum lugar li a frase "se você é bayesiano, quer que todos sejam freqüentistas". Interpreto que isso significa que, teoricamente, se você é bayesiano e alguém descreve os resultados de suas análises, tente primeiro remover a influência do anterior e depois descobrir qual seria o impacto se você tivesse usado o seu próprio. Este pequeno exercício seria simplificado se eles tivessem lhe dado um intervalo de confiança em vez de um intervalo credível!

Obviamente, se você abandonar os anteriores informativos, ainda há utilidade nas análises bayesianas. Pessoalmente, é aqui que acredito que sua maior utilidade reside; existem alguns problemas que são extremamente difíceis de obter resposta ao usar métodos MLE, mas que podem ser resolvidos facilmente com o MCMC. Mas minha opinião de que essa é a maior utilidade do Bayesiano deve-se a fortes antecedentes de minha parte;

Algumas vantagens concretas das estatísticas freqüentistas:

• Muitas vezes, existem soluções de forma fechada para problemas freqüentes, enquanto você precisaria de um conjugado antes de ter uma solução de forma fechada no análogo bayesiano. Isso é útil por vários motivos - um dos quais é o tempo de computação.
• Um motivo que, com sorte, acabará desaparecendo: os leigos aprendem estatísticas freqüentistas. Se você quer ser entendido por muitos, precisa falar com frequência.
• Uma abordagem de "inocente até prova comprovada de culpa" (NHST) é útil quando o objetivo é provar que alguém está errado (vou assumir o seu direito e mostrar que os dados esmagadores sugerem que você está errado). Sim, existem análogos do NHST em bayesiano, mas acho as versões dos freqüentadores muito mais diretas e interpretáveis.
• Não existe um prior verdadeiramente não informativo que deixa algumas pessoas desconfortáveis.

A razão mais importante para usar abordagens freqüentistas, que surpreendentemente ainda não foi mencionada, é o controle de erros. Muitas vezes, a pesquisa leva a interpretações dicotômicas (eu deveria fazer um estudo baseado nisso, ou não? Deve implementar uma intervenção, ou não?). As abordagens freqüentistas permitem controlar rigorosamente sua taxa de erro do tipo 1. As abordagens bayesianas não (embora algumas herdem o limite universal das abordagens de probabilidade, mas mesmo assim, as taxas de erro podem ser bastante altas em amostras pequenas e com limiares de evidência relativamente baixos (por exemplo, BF> 3). Você pode examinar as propriedades freqüentistas de Fatores de Bayes (veja, por exemplo, http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2604513), mas ainda é uma abordagem frequentista. Penso com muita frequência que os pesquisadores se preocupam mais com o controle de erros do que com a quantificação de evidências em si (em relação a alguma hipótese específica), e acho que, no mínimo, todo mundo se preocupa com o controle de erros até certo ponto, e, portanto, as duas abordagens devem ser usadas complementarmente.

Eu acho que uma das maiores perguntas, como estatístico, você deve se perguntar é se você acredita ou não no princípio da probabilidade. Se você não acredita no princípio da verossimilhança, acho que o paradigma freqüentista da estatística pode ser extremamente poderoso; no entanto, se você acredita no princípio da verossimilhança, acredito que certamente precisará adotar o paradigma bayesiano ou para não violá-lo.

---

Caso você não esteja familiarizado com isso, o que o princípio da probabilidade nos diz é o seguinte:

$\theta$$\mathbf{x}$

$$\ell(\theta;\mathbf{x})=p(\mathbf{x}|\theta)$$ $\mathbf{x}$

$\mathbf{x}$$\mathbf{y}$$\ell(\theta;\mathbf{x})$$\ell(\theta;\mathbf{y})$$C(\mathbf{x},\mathbf{y})$

$$\ell(\theta;\mathbf{x})=C(\mathbf{x},\mathbf{y})\ell(\theta;\mathbf{y})\hspace{.1in}\text{for all }\theta,$$

$\mathbf{x}$$\mathbf{y}$

$C(\mathbf{x},\mathbf{y})$$(\mathbf{x},\mathbf{y})$$C(\mathbf{x},\mathbf{y})$$\theta$

$C(\mathbf{x},\mathbf{y})=1$$\theta$$\theta$

---

Agora, um dos empates das estatísticas bayesianas é que, sob prerrogativas adequadas, o paradigma bayesiano nunca viola o princípio da probabilidade. No entanto, existem cenários muito simples em que o paradigma freqüentista viola o princípio da probabilidade.

Aqui está um exemplo muito simples, baseado no teste de hipóteses. Considere o seguinte:

Considere um experimento em que foram realizados 12 ensaios de Bernoulli e três sucessos foram observados. Dependendo da regra de parada, poderíamos caracterizar os dados da seguinte forma:

• $X|\theta\sim\text{Bin}(n=12,\theta)$$x=3$
• $Y|\theta\sim\text{NegBin}(k=3,\theta)$$y=12$

E assim as seguintes funções de probabilidade: que implica que e, portanto, pelo Princípio da Verossimilhança, devemos obter as mesmas inferências sobre partir de qualquer probabilidade.

$$\begin{align} \ell_1(\theta;x=3)&=\binom{12}{3}\theta^3(1-\theta)^9\\ \ell_2(\theta;y=12)&=\binom{11}{2}\theta^3(1-\theta)^9\\ \end{align}$$ $$\ell_1(\theta;x)=C(x,y)\ell_2(\theta,y)$$ $\theta$

Agora, imagine testar as seguintes hipóteses do paradigma freqüentista

$$H_o:\theta\geq\frac{1}{2}\hspace{.2in}\text{versus}\hspace{.2in}H_a:\theta<\frac{1}{2}$$

Para o modelo binomial, temos o seguinte:

$$\begin{align} \text{p-value}&=P\left(X\leq 3|\theta=\frac{1}{2}\right)\\ &=\binom{12}{0}\left(\frac{1}{2}\right)^{12}+\binom{12}{1} \left(\frac{1}{2}\right)^{12}+ \binom{12}{2}\left(\frac{1}{2}\right)^{12}+\binom{12}{3}\left(\frac{1}{2}\right)^{12}=0.0723 \end{align}$$

Observe que mas os outros termos não satisfazer o princípio da probabilidade.$\binom{12}{3}\left(\frac{1}{2}\right)^{12}=\ell_1(\frac{1}{2};x=3)$

Para o modelo Binomial Negativo, temos o seguinte:

$$\begin{align} \text{p-value}&=P\left(Y\geq 12|\theta\frac{1}{2}\right)\\ &=\binom{11}{2}\left(\frac{1}{2}\right)^{12}+\binom{12}{2}\left(\frac{1}{2}\right)^{12}+ \binom{13}{2}\left(\frac{1}{2}\right)^{12}+...=0.0375 \end{align}$$

A partir dos cálculos do valor p acima, vemos que no modelo binomial não conseguiríamos rejeitar mas usando o modelo binomial negativo, rejeitaríamos . Assim, mesmo que exista valores de p e decisões baseadas nesses valores de p não coincidam. Esse argumento de valor-p é frequentemente usado pelos bayesianos contra o uso de valores-p freqüentistas.$H_o$$H_o$$\ell_1(\theta;x)\propto\ell_2(\theta;y)$

Agora, considere testar novamente as seguintes hipóteses, mas a partir do paradigma bayesiano

$$H_o:\theta\geq\frac{1}{2}\hspace{.2in}\text{versus}\hspace{.2in}H_a:\theta<\frac{1}{2}$$

Para o modelo binomial, temos o seguinte:

$$\begin{align} P\left(\theta\geq\frac{1}{2}|x\right)=\int_{1/2}^1\pi(\theta|x)dx=\int_{1/2}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \bigg/\int_{0}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \end{align}$$

Da mesma forma, para o modelo Binomial Negativo, temos o seguinte:

$$\begin{align} P\left(\theta\geq\frac{1}{2}|y\right)=\int_{1/2}^1\pi(\theta|x)dx=\int_{1/2}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \bigg/\int_{0}^1\theta^3(1-\theta)^9\pi(\theta)d\theta \end{align}$$

Agora, usando as regras de decisão bayesianas, escolha se (ou algum outro limite) e repita da mesma forma para .$H_o$$P(\theta\geq\frac{1}{2}|x)>\frac{1}{2}$$y$

No entanto, e assim chegamos a a mesma conclusão e, portanto, essa abordagem satisfaz o princípio da probabilidade.$P\left(\theta\geq\frac{1}{2}|x\right)=P\left(\theta\geq\frac{1}{2}|y\right)$

---

E assim, para concluir minhas divagações, se você não se importa com o princípio da probabilidade, então ser freqüentador é ótimo! (Se você não pode dizer, eu sou bayesiano :))

Você e eu somos cientistas e, como cientistas, estamos principalmente interessados ​​em questões de evidência. Por esse motivo, acho que as abordagens bayesianas, quando possível, são preferíveis.

As abordagens bayesianas respondem à nossa pergunta: qual é a força da evidência para uma hipótese em detrimento de outra? As abordagens freqüentistas, por outro lado, não o fazem: elas relatam apenas se os dados são estranhos, dada uma hipótese.

Dito isto, Andrew Gelman, notável bayesiano, parece adotar o uso de valores-p (ou verificações gráficas semelhantes a valores-p) como verificação de erros na especificação do modelo. Você pode ver uma alusão a essa abordagem nesta postagem do blog .

Sua abordagem, como eu a entendo, é algo como um processo de duas etapas: primeiro, ele faz a pergunta bayesiana sobre qual é a evidência de um modelo em detrimento do outro. Segundo, ele faz a pergunta freqüentista sobre se o modelo preferido realmente parece plausível, dados os dados. Parece uma abordagem híbrida razoável para mim.

Pessoalmente, estou tendo dificuldade em pensar em uma situação em que a resposta freqüentista seria preferida a uma bayesiana. Meu pensamento é detalhado aqui e em outros artigos do blog fharrell.com sobre problemas com valores-p e testes de hipóteses nulos. Os freqüentistas tendem a ignorar alguns problemas fundamentais. Aqui está apenas uma amostra:

• Fora do modelo linear gaussiano com variação constante e alguns outros casos, os valores de p calculados são de precisão desconhecida para o seu conjunto de dados e modelo
• Quando o experimento é seqüencial ou adaptável, geralmente é possível que um valor-p não possa ser computado e só é possível definir um nível geral para atingir$\alpha$
• Os freqüentistas parecem felizes por não deixar o erro do tipo I cair abaixo de, digamos, 0,05, não importa agora, o tamanho da amostra aumenta
• Não há prescrição freqüente de como as correções de multiplicidade são formadas, levando a métodos ad hoc hodge-podge

Em relação ao primeiro ponto, um modelo comumente usado é o modelo logístico binário. Sua probabilidade de log é muito não quadrática, e a grande maioria dos limites de confiança e valores de p calculados para esses modelos não são muito precisos. Compare isso com o modelo logístico bayesiano, que fornece inferência exata.

Outros mencionaram o controle de erros como uma razão para o uso de inferência freqüentista. Eu não acho que isso seja lógico, porque o erro ao qual eles se referem é o erro de longo prazo, prevendo um processo no qual milhares de testes estatísticos são executados. Um juiz que disser "a probabilidade de falsa condenação a longo prazo em meu tribunal é de apenas 0,03" deve ser impedido. Ela é acusada de ter a maior probabilidade de tomar a decisão correta para o atual réu . Por outro lado, menos a probabilidade posterior de um efeito é a probabilidade de zero ou efeito inverso e é a probabilidade de erro que realmente precisamos.

Muitas pessoas não parecem cientes de uma terceira escola filosófica: probabilidade. O livro de AWF Edwards, Probabilidade, é provavelmente o melhor lugar para ler sobre ele. Aqui está um pequeno artigo que ele escreveu.
O verossimilhança evita os valores-p, como o bayesianismo, mas também evita o prior duvidoso do bayesiano. Há um tratamento de introdução aqui também.

Uma das maiores desvantagens das abordagens freqüentes para a construção de modelos sempre foi, como o TrynnaDoStats observa em seu primeiro ponto, os desafios envolvidos na inversão de grandes soluções em formato fechado. A inversão de matriz de forma fechada requer que toda a matriz seja residente na RAM, uma limitação significativa em plataformas de CPU única com grandes quantidades de dados ou recursos massivamente categóricos. Os métodos bayesianos conseguiram contornar esse desafio simulando sorteios aleatórios de um anterior especificado. Esse sempre foi um dos maiores pontos de venda das soluções bayesianas, embora as respostas sejam obtidas apenas a um custo significativo na CPU.

Andrew Ainslie e Ken Train, em um artigo de cerca de 10 anos atrás, sobre o qual perdi a referência, comparou a mistura finita (que é freqüentista ou fechada) com abordagens bayesianas para a construção de modelos e descobriu que em uma ampla variedade de formas funcionais e métricas de desempenho, os dois métodos apresentaram resultados essencialmente equivalentes. Onde as soluções bayesianas tinham uma vantagem ou possuíam maior flexibilidade, era nos casos em que as informações eram esparsas e de alta dimensão.

No entanto, esse documento foi escrito antes do desenvolvimento de algoritmos de "dividir e conquistar" que alavancam plataformas massivamente paralelas, por exemplo, consulte o artigo de Chen e Minge para obter mais informações sobre isso http://dimacs.rutgers.edu/TechnicalReports/TechReports/2012/2012- 01.pdf

O advento das abordagens de D&C significou que, mesmo para os problemas mais cabeludos, esparsos e de alta dimensão, as abordagens bayesianas não têm mais vantagem sobre os métodos freqüentes. Os dois métodos estão em paridade.

Vale a pena notar esse desenvolvimento relativamente recente em qualquer debate sobre as vantagens ou limitações práticas de qualquer método.

Testes freqüentistas se concentram em falsificar a hipótese nula. No entanto, o Teste de significância de hipótese nula (NHST) também pode ser feito de uma perspectiva bayesiana, porque em todos os casos o NHST é simplesmente um cálculo de P (Efeito observado | Efeito = 0). Portanto, é difícil identificar um momento em que seria necessário realizar o NHST de uma perspectiva freqüentista.

Dito isto, o melhor argumento para conduzir o NHST usando uma abordagem freqüentista é a facilidade e a acessibilidade. As pessoas aprendem estatísticas freqüentistas. Portanto, é mais fácil executar um NHST freqüentador, porque há muito mais pacotes estatísticos que simplificam isso. Da mesma forma, é mais fácil comunicar os resultados de um NHST freqüentador, porque as pessoas estão familiarizadas com essa forma de NHST. Então, vejo isso como o melhor argumento para abordagens freqüentes: acessibilidade a programas estatísticos que os executam e facilidade de comunicação de resultados aos colegas. Porém, isso é apenas cultural, portanto esse argumento pode mudar se as abordagens freqüentistas perderem sua hegemonia.

Vários comentários:

• A diferença fundamental entre o estatístico bayesiano e frequentista é que o bayesiano está disposto a estender as ferramentas de probabilidade a situações em que o frequentista não o faria.

  • Mais especificamente, o bayesiano está disposto a usar a probabilidade para modelar a incerteza em sua própria mente sobre vários parâmetros. Para o frequentista, esses parâmetros são escalares (embora escalares em que o estatístico não conhece o valor verdadeiro). Para o bayesiano, vários parâmetros são representados como variáveis ​​aleatórias! Isto é extremamente diferente. A incerteza bayesiana sobre os parâmetros valeus é representada por um prior .

• Nas estatísticas bayesianas, a esperança é que, depois de observar os dados, o posterior supere o anterior, que o prior não importe. Mas isso geralmente não é o caso: os resultados podem ser sensíveis à escolha do anterior! Diferentes bayesianos com diferentes antecedentes não precisam concordar com os posteriores.

Um ponto-chave a ter em mente é que as declarações do estatístico freqüentador são declarações com as quais dois Bayesianos podem concordar, independentemente de suas crenças anteriores!

O frequentista não comenta sobre anteriores ou posteriores, apenas a probabilidade.

As afirmações do estatístico freqüentista, em certo sentido, são menos ambiciosas, mas as afirmações mais ousadas do bayesiano podem depender significativamente da atribuição de um prior. Nas situações em que os anteriores são importantes e onde há desacordo sobre os anteriores, as declarações mais limitadas e condicionais das estatísticas freqüentistas podem permanecer em terreno mais firme.

O objetivo de muitas pesquisas não é chegar a uma conclusão final, mas apenas obter um pouco mais de evidências para aumentar gradualmente o senso de pergunta da comunidade em uma direção .

As estatísticas bayesianas são indispensáveis ​​quando o que você precisa é avaliar uma decisão ou conclusão à luz das evidências disponíveis. O controle de qualidade seria impossível sem as estatísticas bayesianas. Qualquer procedimento em que você precise coletar alguns dados e depois agir sobre eles (robótica, aprendizado de máquina, tomada de decisões de negócios) se beneficia das estatísticas bayesianas.

Mas muitos pesquisadores não estão fazendo isso. Eles estão realizando alguns experimentos, coletando alguns dados e depois dizendo "Os dados apontam para esse lado", sem realmente se preocupar muito com a questão de saber se essa é a melhor conclusão, considerando todas as evidências que outros reuniram até agora. A ciência pode ser um processo lento, e uma declaração como "A probabilidade de que este modelo esteja correto é de 72%!" geralmente é prematuro ou desnecessário.

Isso também é apropriado de uma maneira matemática simples, porque as estatísticas freqüentistas frequentemente se tornam matematicamente iguais à etapa de atualização de uma estatística bayesiana. Em outras palavras, enquanto a estatística bayesiana é (Modelo Anterior, Evidência) → Novo Modelo, a estatística freqüentista é apenas Evidência e deixa para outras pessoas preencher as outras duas partes.

A execução real de um método bayesiano é mais técnica do que a de um freqüentista. Por "mais técnico", quero dizer coisas como: 1) escolhendo prévios, 2) programando seu modelo em um BUGS / JAGS / STAN e 3) pensando em amostragem e convergência.

Obviamente, o nº 1 é praticamente não opcional, por definição de bayesiano. Embora com alguns problemas e procedimentos, pode haver padrões razoáveis, ocultando o problema do usuário. (Embora isso também possa causar problemas!)

Se o problema nº 2 é um problema, depende do software que você usa. As estatísticas bayesianas inclinam-se para soluções mais gerais do que os métodos estatísticos freqüentes, e ferramentas como BUGS, JAGS e STAN são uma expressão natural disso. No entanto, existem funções bayesianas em vários pacotes de software que parecem funcionar como o procedimento freqüentista típico, portanto, isso nem sempre é um problema. (E as soluções recentes, como os pacotes R rstanarme brmssão colmatar esta lacuna.) Ainda assim, o uso dessas ferramentas é muito semelhante ao de programação em um novo idioma.

O item 3 é geralmente aplicável, já que a maioria dos aplicativos bayesianos do mundo real vai usar a amostragem MCMC. (Por outro lado, procedimentos freqüentistas baseados em MLE usam otimização que pode convergir para um mínimo local ou não convergir, e eu me pergunto quantos usuários devem verificar isso e não?)

Como eu disse em um comentário, não tenho certeza de que a libertação dos anteriores seja realmente um benefício científico. Certamente é conveniente de várias maneiras e em vários momentos do processo de publicação, mas não tenho certeza de que realmente traga uma ciência melhor. (E, em geral, todos temos que estar cientes de nossos anteriores como cientistas, ou sofreremos com todos os tipos de preconceitos em nossas investigações, independentemente de quais métodos estatísticos usamos.)

Conceitualmente : eu não sei. Acredito que as estatísticas bayesianas são a maneira mais lógica de pensar, mas não justifico o porquê.

A vantagem do frequentista é que é mais fácil para a maioria das pessoas no nível elementar. Mas para mim foi estranho. Levou anos até que eu pudesse realmente esclarecer intelectualmente o que é um intervalo de confiança. Mas quando comecei a enfrentar situações práticas, as idéias freqüentistas pareciam simples e altamente relevantes.

Empiricamente

A questão mais importante na qual tento me concentrar hoje em dia é mais sobre eficiência prática: tempo de trabalho pessoal, precisão e velocidade de computação.

Tempo de trabalho pessoal: para perguntas básicas, quase nunca uso métodos bayesianos: uso ferramentas freqüentistas básicas e sempre vou preferir um teste t a um equivalente bayesiano que me daria dor de cabeça. Quando quero saber se sou significativamente melhor no tictacto do que minha namorada, faço um qui-quadrado :-). Na verdade, mesmo em trabalhos sérios como cientista da computação, as ferramentas básicas freqüentistas são inestimáveis ​​para investigar problemas e evitar conclusões falsas devido ao acaso.

Precisão: no aprendizado de máquina, em que a previsão é mais importante que a análise, não há um limite absoluto entre Bayesiano e Frequentista. O MLE é uma abordagem freqüentista: apenas um estimador. Mas o MLE regularizado (PAM) é uma abordagem parcialmente bayesiana : você encontra o modo do posterior e não se importa com o resto do posterior. Não conheço uma justificativa freqüentista do porquê usar a regularização. Na prática, a regularização às vezes é inevitável, porque a estimativa bruta do MLE é tão super ajustada que 0 seria um melhor preditor. Se a regularização for aceita como um método verdadeiramente bayesiano, apenas isso justifica que Bayes possa aprender com menos dados.

Velocidade de computação: os métodos freqüentes são geralmente mais rápidos em termos de computação e mais simples de implementar. E de alguma forma a regularização fornece uma maneira barata de introduzir um pouco de Bayes neles. Pode ser porque os métodos bayesianos ainda não estão tão otimizados quanto poderiam. Por exemplo, algumas implementações de LDA são rápidas hoje em dia. Mas eles exigiram muito trabalho. Para estimativas de entropia, os primeiros métodos avançados foram bayesianos. Eles trabalharam muito bem, mas logo os métodos freqüentadores foram descobertos e levam muito menos tempo de computação ... Durante o tempo de computação, os métodos freqüentadores são geralmente claramente superiores. Não é absurdo, se você é bayesiano, pensar nos métodos freqüentistas como aproximações dos métodos bayesianos.

Um tipo de problema no qual uma abordagem baseada em Frequentist específica dominou essencialmente qualquer bayesiano é o da previsão no caso M-open.

O que significa o M-open?

M-open implica que o modelo verdadeiro que gera os dados não aparece no conjunto de modelos que estamos considerando. Por exemplo, se a média verdadeira de é quadrática como uma função de , ainda assim consideramos apenas modelos com a média uma função linear de , estamos no caso M-open. Em outras palavras, o modelo de especificação incorreta resulta em um caso M-open.$y$$x$$x$

Na maioria dos casos, esse é um grande problema para análises bayesianas; praticamente toda a teoria que eu conheço depende do modelo ser especificado corretamente. Certamente, como estatísticos críticos, devemos pensar que nosso modelo é sempre mal especificado. Este é um problema e tanto; grande parte de nossa teoria é baseada no modelo correto, mas sabemos que nunca é. Basicamente, estamos apenas cruzando os dedos, esperando que nosso modelo não seja muito incorreto.

Por que os métodos freqüentistas lidam melhor com isso?

Nem todos fazem. Por exemplo, se usarmos ferramentas MLE padrão para criar erros padrão ou criar intervalos de previsão, não estaremos melhor do que usar métodos bayesianos.

No entanto, há uma ferramenta Frequentist específica que é especificamente projetada para exatamente esse objetivo: validação cruzada. Aqui, para estimar o quão bem o nosso modelo irá prever em novos dados, simplesmente deixamos alguns dados ao ajustá-lo e medimos o quão bem o nosso modelo prevê os dados não vistos.

Observe que esse método é completamente ambivalente ao modelo de especificação errada, apenas fornece um método para estimarmos até que ponto um modelo irá prever novos dados, independentemente de o modelo estar "correto" ou não.

Não acho difícil argumentar que isso realmente mude a abordagem da modelagem preditiva, difícil de justificar sob uma perspectiva bayesiana (supõe-se que prior representa um conhecimento prévio antes de ver dados, a função de probabilidade é o modelo etc.) para um isso é muito fácil de justificar do ponto de vista freqüentista (escolhemos o modelo + parâmetros de regularização que, em amostragens repetidas, levam ao melhor erro de amostragem).

Isso revolucionou completamente como a inferência preditiva é feita. Eu não acho que nenhum estatístico consideraria (ou pelo menos deveria) considerar seriamente um modelo preditivo que não foi construído ou verificado com validação cruzada, quando disponível (ou seja, podemos razoavelmente assumir que as observações são independentes, sem tentar explicar para viés de amostragem, etc.).