Quais são algumas objeções práticas ao uso de métodos estatísticos bayesianos em qualquer contexto? Não, não me refiro ao comentário habitual sobre a escolha do anterior. Ficarei encantado se isso não receber respostas.
A questão está bem estruturada, mas os comentários estão indo direto ao ponto da argumentação e ameaçando se espalhar para o lado errado dessa linha. Cuidado ... este não é o lugar para esse debate. Crie uma sala de bate-papo, se você quiser fazer isso.
whuber
Respostas:
40
Eu vou lhe dar uma resposta. Quatro inconvenientes, na verdade. Observe que nenhuma delas é na verdade objeções que devem levar à análise frequentista, mas há contras em seguir uma estrutura bayesiana:
Escolha do prior. Este é o truque habitual por uma razão, embora no meu caso não seja o habitual "os anteriores são subjetivos!" mas o fato de apresentar um prior bem fundamentado e realmente representar sua melhor tentativa de resumir um prior é muito trabalho em muitos casos. Um objetivo inteiro da minha dissertação, por exemplo, pode ser resumido como "estimativas anteriores".
É computacionalmente intensivo. Especialmente para modelos que envolvem muitas variáveis. Para um grande conjunto de dados com muitas variáveis sendo estimadas, pode ser muito proibitivo em termos computacionais, especialmente em certas circunstâncias em que os dados não podem ser prontamente lançados em um cluster ou algo semelhante. Algumas das maneiras de resolver isso, como dados aumentados em vez de MCMC, são teoricamente desafiadoras, pelo menos para mim.
As distribuições posteriores são um pouco mais difíceis de incorporar em uma meta-análise, a menos que uma descrição paramétrica e freqüentista da distribuição tenha sido fornecida.
Dependendo do periódico para o qual a análise se destina, seja o uso de Bayes em geral, seja a sua escolha de anteriores, o artigo dá um pouco mais de pontos em que um revisor pode pesquisar. Algumas são objeções razoáveis para os revisores, mas outras se originam da natureza de Bayes e de como as pessoas em alguns campos estão familiarizadas.
Nenhuma dessas coisas deve impedi-lo. De fato, nenhuma dessas coisas me impediu, e espero que a análise bayesiana ajude a abordar pelo menos o número 4.
O número 1, idealmente, deve ser a análise do primeiro estágio. Nas artes, uma revisão acesa. Nas ciências, uma revisão quantitativa iluminada. Os bayesianos não deveriam se desculpar por isso. Se as freqs abordam os dados como se fossem Adão e Eva, tudo bem. O primeiro capítulo do meu doutorado é uma meta-análise (embora frequente). É assim que deve ser. # 2 A lei de Moore, descobri que uma discussão breve e baseada em XKCD com o grupo local de computação de alto desempenho pode ajudar muito. A meta-análise nº 3 é péssima de qualquer maneira. Eu seria a favor da mega-análise de rolagem obrigatória, em outras palavras - forneça seus dados quando você publicar.
quer
7
@ Rosser Alguns pensamentos. # 1 De fato, deveria haver uma revisão acesa, e sim, esse deveria ser o primeiro passo. Porém, uma análise bayesiana adequada, que controla a confusão, precisa de uma revisão quantitativa completa de todas as variáveis a serem incluídas no modelo. Essa não é uma tarefa pequena. # 2 Dependendo da lei de Moore é uma má idéia. Primeiro, ganhos recentes foram feitos principalmente em sistemas com vários núcleos / GPU. Isso precisa de software escrito para isso e problemas que surgem com o processamento paralelo. Um único modelo GLM feito com o MCMC pode não ser esse. Cont ...
Fomite 17/10/11
6
@rosser e pode haver momentos em que o HPC não seja necessariamente a resposta. Por exemplo, trabalho em áreas nas quais os contratos de uso de dados e similares geralmente impedem que dados sejam armazenados em coisas além de sistemas extremamente seguros. O cluster local ... não é isso. E, no final, a Lei de Moore é tão boa quanto o seu orçamento de hardware é grande. Quanto ao número 3 e à meta-análise, eu tendem a discordar, mas além disso, continua sendo um problema até o ponto em que um sistema de dados totalmente aberto se torna a norma.
Fomite 17/10/11
OK, eu exagerei no # 3. Mas quanta diferença o seu anterior em TODOS OS PREDITORES faz para o resultado? srsly? Uma análise de sensibilidade mostra enormes diferenças?
quer
1
@ Rosser Provavelmente depende da natureza do seu preditor e de sua relação com a exposição e o resultado. Mas, para fazer uma análise de sensibilidade, alguém precisa ter um antecedente para todas essas variáveis. Talvez eu o adicione como parte da minha dissertação. Também acho que cooptar a força de Bayes, mas assumir anteriores não informativos sobre variáveis em que "não posso me incomodar em descobrir" é algo problemático.
Fomite 17/10/11
16
Sou bayesiano por inclinação, mas geralmente sou um freqüentador na prática. A razão para isso é geralmente que realizar a análise bayesiana completa adequadamente (em vez de, por exemplo, soluções MAP) para os tipos de problemas nos quais estou interessado é complicado e computacionalmente intensivo. Freqüentemente, é necessária uma análise bayesiana completa para realmente ver o benefício dessa abordagem sobre os equivalentes freqüentistas.
Para mim, o trade-off é basicamente uma escolha entre métodos bayesianos que são conceitualmente elegantes e fáceis de entender, mas difíceis de implementar na prática e métodos freqüentistas, conceitualmente estranhos e sutis (tente explicar como interpretar um teste de hipótese com precisão ou por que não há uma probabilidade de 95% de que o verdadeiro valor esteja em um intervalo de confiança de 95%), mas que são adequados para soluções de "livro de receitas" facilmente implementadas.
De um ponto de vista puramente prático, não sou fã de métodos que exigem muita computação (estou pensando no sampler de Gibbs e no MCMC, frequentemente usados na estrutura bayesiana, mas isso também se aplica, por exemplo, às técnicas de autoinicialização na análise freqüentista). A razão é que qualquer tipo de depuração (testando a implementação, analisando a robustez em relação a suposições etc. ) requer um monte de simulações de Monte Carlo e você fica rapidamente em um pântano computacional. Prefiro que as técnicas de análise subjacentes sejam rápidas e determinísticas, mesmo que sejam apenas aproximadas.
Esta é uma objeção puramente prática, é claro: dados infinitos recursos computacionais, essa objeção desapareceria. E isso só se aplica a um subconjunto de métodos bayesianos. Além disso, isso é mais uma preferência, considerando meu fluxo de trabalho.
Até agora estou ouvindo 1. Lei Moore'e, 2. Trabalho duro +/- paciência e 3. Ignorância. Tenho que dizer que nada disso é convincente. Bayes parece um paradigma tão abrangente. Por exemplo ... por que os estudos do GWAS não foram analisados à la Bayes. Eles poderiam ter evitado jogar 99,999% dos dados fora?
Rosser
1
Por outro lado: o MCMC poderia ensinar alguém a escrever código mais rápido e aprender com a dor de esperar pela conclusão das simulações. Essa tem sido minha experiência com modelagem: se levar muito tempo para ser executado, posso me beneficiar em aprender a tornar o código mais rápido.
Iterator
9
Às vezes, há uma solução "clássica" simples e natural para um problema; nesse caso, um método bayesiano sofisticado (especialmente no MCMC) seria um exagero.
Além disso, em problemas de tipo de seleção variável, pode ser mais direto e claro considerar algo como uma probabilidade penalizada; pode existir um prior em modelos que ofereça uma abordagem bayesiana equivalente, mas como o prior corresponde ao desempenho final pode ser menos claro do que a relação entre a penalidade e o desempenho.
Por fim, os métodos MCMC geralmente exigem um especialista para avaliar a convergência / mistura e para entender os resultados.
Eu sou relativamente novo nos métodos bayesianos, mas uma coisa que me irrita é que, embora eu compreenda a lógica dos anteriores (ou seja, a ciência é um esforço cumulativo, portanto, para a maioria das perguntas, existe uma certa quantidade de experiência / pensamento anterior que deve informar o seu não gosto que a abordagem bayesiana o force a empurrar a subjetividade para o início da análise, tornando contingente o resultado final. Acredito que isso é problemático por duas razões: 1) alguns leitores menos versados nem prestam atenção aos anteriores e interpretam os resultados bayesianos como não contingentes; 2) a menos que os dados brutos estejam disponíveis, é difícil para os leitores reformularem os resultados em seus próprios antecedentes subjetivos. É por isso que eu prefiro razões de probabilidade,
(Críticos astutos observarão que mesmo a razão de verossimilhança é "contingente", no sentido de que depende da parametrização dos modelos que estão sendo comparados; no entanto, esse é um recurso compartilhado por todos os métodos, freqüentista, bayesiano e verossimilhança)
O problema inverso das estatísticas freqüentes é que a subjetividade está presente, mas não é mencionada. O problema (prático) dos índices de probabilidade é que eles se baseiam na otimização da probabilidade e, portanto, ignoram o fato de que pode haver outras soluções com uma probabilidade apenas ligeiramente menor. É aí que o fator Bayes é útil. Mas é sempre "cavalos para percursos".
Dikran Marsupial 18/10/11
6
A teoria da decisão é a teoria subjacente na qual a estatística opera. O problema é encontrar um bom procedimento (em algum sentido) para produzir decisões a partir dos dados. No entanto, raramente há uma escolha inequívoca de procedimento, no sentido de minimizar a perda esperada; portanto, outros critérios devem ser invocados para escolher entre eles. A escolha dos procedimentos que são Bayes em relação a alguns anteriores é um desses critérios, mas nem sempre é o que você deseja. Minimax pode ser mais importante em alguns casos, ou imparcialidade.
Quem insiste que os freqüentadores estão errados ou os bayesianos ou errados está principalmente revelando sua ignorância das estatísticas.
Por algum tempo, eu queria me educar mais sobre as abordagens bayesianas da modelagem para superar meu entendimento superficial (codifiquei os amostradores de Gibbs no trabalho de graduação, mas nunca fiz nada real). No entanto, ao longo do caminho, pensei que alguns dos documentos de Brian Dennis foram instigantes e desejavam encontrar um amigo bayesiano (os que não estavam no armário) para ler os jornais e ouvir seus contrapontos. Então, aqui estão os trabalhos a que me refiro, mas a citação que sempre lembro é
Ser bayesiano significa nunca ter que dizer que você está errado.
O primeiro artigo (não leu o segundo) parece mais sobre como bayes é praticado versus a teoria. Na prática, os modelos não são verificados tão rigorosamente quanto deveriam, mas, em teoria, a estatística bayesiana possui facilidades superiores de verificação de modelos, chamadas de "evidências" de Jaynes, que estão incorporadas no denominador P (modelo D |) da regra de bayes. Com ele, você pode comparar a adequação de um modelo, algo que você só pode fazer empiricamente em estatísticas freqüentes. O problema, claro, é que a evidência é difícil de calcular, por isso a maioria das pessoas ignorá-lo e acho que o posterior é o mais importante fator (continuação)
cespinoza
2
pt. 2 Tente pesquisar "amostragem aninhada com habilidade" no Google e você encontrará um artigo sobre o método MCMC para calcular as evidências. (Também existem outros métodos de verificação de modelo não baseados em evidências: Gelman verifica seus modelos amostrando a partir da previsão posterior e comparando-os (visualmente ou não) com os dados reais.) Algumas pessoas até sugerem que os modelos devam ser calculados pela visualização o próprio espaço dos modelos para marginalizar. Outra coisa que podemos ver no horizonte são os bayes não paramétricos, que resolvem o problema, permitindo uma gama muito maior de modelos do que os modelos paramétricos tradicionais.
Cspinoza
5
Além disso, sugiro que você assista a videolectures.net/mlss09uk_jordan_bfway de Michael I. Jordan, um professor de Berkeley que é bastante equilibrado em suas opiniões sobre o suposto Bayes x Freq. "guerra". Eu realmente não posso comentar sobre a segunda metade do primeiro artigo porque eu não conheço nenhuma das referências ecológicas. Vou ler o segundo mais tarde.
Cspinoza
1
@cespinoza: Eu estava pensando isso no caminho para o trabalho. O artigo diz que um bayesiano nunca examinaria resíduos (por exemplo, comparar a saída do modelo com dados reais), e talvez um bayesiano estridente possa evitar isso por princípio, mas profissionais como Gelman certamente comparam a saída do modelo (posterior preditivo) com os dados reais. Não sei o suficiente para ir além, mas minha impressão dos papéis é que eles montam "em princípio" homens de palha para atacar.
Wayne
1
Basta acrescentar que um bayesiano que não verifica resíduos é um estatístico ruim. Geralmente, um método bayesiano é usado com um modelo "áspero e pronto" e anterior. A verificação de resíduos é uma maneira de verificar se você tem conhecimento suficiente do anterior e do modelo. Ele anda de mãos dadas com a verificação de que teórica apresenta o seu modelo e antes ter
probabilityislogic
5
Quais são os problemas em aberto nas Estatísticas Bayesianas do boletim trimestral da ISBA listam 5 problemas com estatísticas bayesianas de vários líderes no campo, sendo o número 1, aborrecido o suficiente, "Seleção de modelos e teste de hipóteses".
Respostas:
Eu vou lhe dar uma resposta. Quatro inconvenientes, na verdade. Observe que nenhuma delas é na verdade objeções que devem levar à análise frequentista, mas há contras em seguir uma estrutura bayesiana:
Nenhuma dessas coisas deve impedi-lo. De fato, nenhuma dessas coisas me impediu, e espero que a análise bayesiana ajude a abordar pelo menos o número 4.
fonte
Sou bayesiano por inclinação, mas geralmente sou um freqüentador na prática. A razão para isso é geralmente que realizar a análise bayesiana completa adequadamente (em vez de, por exemplo, soluções MAP) para os tipos de problemas nos quais estou interessado é complicado e computacionalmente intensivo. Freqüentemente, é necessária uma análise bayesiana completa para realmente ver o benefício dessa abordagem sobre os equivalentes freqüentistas.
Para mim, o trade-off é basicamente uma escolha entre métodos bayesianos que são conceitualmente elegantes e fáceis de entender, mas difíceis de implementar na prática e métodos freqüentistas, conceitualmente estranhos e sutis (tente explicar como interpretar um teste de hipótese com precisão ou por que não há uma probabilidade de 95% de que o verdadeiro valor esteja em um intervalo de confiança de 95%), mas que são adequados para soluções de "livro de receitas" facilmente implementadas.
Cavalos para cursos.
fonte
De um ponto de vista puramente prático, não sou fã de métodos que exigem muita computação (estou pensando no sampler de Gibbs e no MCMC, frequentemente usados na estrutura bayesiana, mas isso também se aplica, por exemplo, às técnicas de autoinicialização na análise freqüentista). A razão é que qualquer tipo de depuração (testando a implementação, analisando a robustez em relação a suposições etc. ) requer um monte de simulações de Monte Carlo e você fica rapidamente em um pântano computacional. Prefiro que as técnicas de análise subjacentes sejam rápidas e determinísticas, mesmo que sejam apenas aproximadas.
Esta é uma objeção puramente prática, é claro: dados infinitos recursos computacionais, essa objeção desapareceria. E isso só se aplica a um subconjunto de métodos bayesianos. Além disso, isso é mais uma preferência, considerando meu fluxo de trabalho.
fonte
Às vezes, há uma solução "clássica" simples e natural para um problema; nesse caso, um método bayesiano sofisticado (especialmente no MCMC) seria um exagero.
Além disso, em problemas de tipo de seleção variável, pode ser mais direto e claro considerar algo como uma probabilidade penalizada; pode existir um prior em modelos que ofereça uma abordagem bayesiana equivalente, mas como o prior corresponde ao desempenho final pode ser menos claro do que a relação entre a penalidade e o desempenho.
Por fim, os métodos MCMC geralmente exigem um especialista para avaliar a convergência / mistura e para entender os resultados.
fonte
Eu sou relativamente novo nos métodos bayesianos, mas uma coisa que me irrita é que, embora eu compreenda a lógica dos anteriores (ou seja, a ciência é um esforço cumulativo, portanto, para a maioria das perguntas, existe uma certa quantidade de experiência / pensamento anterior que deve informar o seu não gosto que a abordagem bayesiana o force a empurrar a subjetividade para o início da análise, tornando contingente o resultado final. Acredito que isso é problemático por duas razões: 1) alguns leitores menos versados nem prestam atenção aos anteriores e interpretam os resultados bayesianos como não contingentes; 2) a menos que os dados brutos estejam disponíveis, é difícil para os leitores reformularem os resultados em seus próprios antecedentes subjetivos. É por isso que eu prefiro razões de probabilidade,
(Críticos astutos observarão que mesmo a razão de verossimilhança é "contingente", no sentido de que depende da parametrização dos modelos que estão sendo comparados; no entanto, esse é um recurso compartilhado por todos os métodos, freqüentista, bayesiano e verossimilhança)
fonte
A teoria da decisão é a teoria subjacente na qual a estatística opera. O problema é encontrar um bom procedimento (em algum sentido) para produzir decisões a partir dos dados. No entanto, raramente há uma escolha inequívoca de procedimento, no sentido de minimizar a perda esperada; portanto, outros critérios devem ser invocados para escolher entre eles. A escolha dos procedimentos que são Bayes em relação a alguns anteriores é um desses critérios, mas nem sempre é o que você deseja. Minimax pode ser mais importante em alguns casos, ou imparcialidade.
Quem insiste que os freqüentadores estão errados ou os bayesianos ou errados está principalmente revelando sua ignorância das estatísticas.
fonte
Por algum tempo, eu queria me educar mais sobre as abordagens bayesianas da modelagem para superar meu entendimento superficial (codifiquei os amostradores de Gibbs no trabalho de graduação, mas nunca fiz nada real). No entanto, ao longo do caminho, pensei que alguns dos documentos de Brian Dennis foram instigantes e desejavam encontrar um amigo bayesiano (os que não estavam no armário) para ler os jornais e ouvir seus contrapontos. Então, aqui estão os trabalhos a que me refiro, mas a citação que sempre lembro é
http://faculty.washington.edu/skalski/classes/QERM597/papers/Dennis_1996.pdf http://classes.warnercnr.colostate.edu/nr575/files/2011/01/Lele-and-Dennis-2009.pdf
fonte
Quais são os problemas em aberto nas Estatísticas Bayesianas do boletim trimestral da ISBA listam 5 problemas com estatísticas bayesianas de vários líderes no campo, sendo o número 1, aborrecido o suficiente, "Seleção de modelos e teste de hipóteses".
fonte