Qual é o problema com os testes post-hoc?

15

Meu professor de estatística diz isso, todos os livros que eu olho afirmam: o teste pós-hoc não é científico. Você deve derivar uma hipótese da teoria primeiro e depois coletar dados e analisá-los.

Mas eu realmente não entendo qual é o problema.

Suponhamos que vejo números de vendas para diferentes cores de carros e forme a hipótese de que, a partir de números de carros de cores diferentes, o maior grupo de carros vendidos na rua deve ser branco. Então, eu me sento em uma rua um dia e observo todas as cores de todos os carros que passam por mim. Então eu faço alguns testes e encontro o que quer.

Agora, suponha que eu estivesse entediado e sentado em alguma rua um dia e anotasse todas as cores de todos os carros que passavam por mim. Como eu amo gráficos, planto um bonito histograma e acho que os carros brancos formam o maior grupo. Então eu acho que talvez a maioria dos carros na rua seja branca e faça alguns testes.

Como e por que os resultados ou a interpretação dos resultados do teste post-hoc diferem dos resultados do teste de hipótese * orientado pela teoria?

* Qual é o nome do oposto de um teste post-hoc, afinal?


Gostaria de acrescentar que a maior parte do nosso conhecimento sobre o universo (a Terra se move ao redor do Sol) é deduzida post hoc da observação.

Parece-me que na física é perfeitamente aceitável assumir que é não coincidência que o sol tem vindo a aumentar no Leste durante os últimos mil anos.


fonte
2
As questões são exemplificadas aqui e aqui .
Scortchi - Restabelece Monica
@ Scortchi Hmm, obrigado, mas tudo o que consigo encontrar é: "Isso seria um abuso de testes estatísticos, como foi amplamente explicado e demonstrado em muitos lugares". O restante dos comentários e respostas parece não explicar o problema dos testes post-hoc, mas dos testes em geral.
2
Compare a resposta da ameba (equivalente ao seu primeiro cenário) com a whuber's (equivalente ao seu segundo).
Scortchi - Restabelece Monica
3
Apenas uma observação de que o oposto de post-hoc é a priori. A resposta do @whuber no post acima é bastante abrangente, mas você pode procurar análise exploratória de dados versus análise confirmatória.
Peter Flom - Restabelece Monica
Isso está relacionado tangencialmente, mas pode ser de interesse para as pessoas que estão lendo esta pergunta: leem andrewgelman.com/2014/12/20/…
shadowtalker

Respostas:

12

"Sabe, a coisa mais incrível aconteceu comigo hoje à noite. Eu estava vindo para cá, a caminho da palestra, e entrei no estacionamento. E você não vai acreditar no que aconteceu. Vi um carro com a licença placa ARW 357. Você pode imaginar? De todos os milhões de placas no estado, qual era a chance de eu ver essa em particular hoje à noite? Incrível! " Richard Feynman

Sinto que não estou em posição de explicar os aspectos técnicos profundos deste problema. No entanto, acho que muitos deles podem ser reduzidos a uma intuição.

Na primeira configuração, você começa com algumas hipóteses que são verificadas em novos dados (da experiência projetada). O estudo dos números de vendas pode levar você a um experimento bem elaborado e muito elaborado, onde você realmente pode decidir o quão forte deve ser a sua resposta (poder estatístico, valores-p, tamanho da amostra e muitas outras coisas).

Na segunda configuração, antes de tudo, você decide nada sobre a força da resposta. Este é um problema. O segundo problema é que extrair a hipótese da mesma amostra usada para testes aumentará de maneira muito incontrolável as chances de que padrões aleatórios sejam interpretados como informações valiosas. O que você faz é notar alguma coisa (que os carros brancos são em grande número) e se perguntar se isso é significativo. O ponto é que você selecionou apenas um fato notável visível nessa amostra, descartando outras hipóteses. Fazendo isso, você criou condições favoráveis para algumas hipóteses e quebra as suposições da maioria dos testes estatísticos a priori.

Não é científico se comportar como se você não soubesse disso vazamento e fingir que é um experimento com todas as suas suposições, quando não é verdade. Nesse caso, é científico usar a análise post hoc para formular uma hipótese e projetar um experimento totalmente novo para testá-lo.

rapaio
fonte
Mas não é um experimento, criado especificamente para uma hipótese, a forma mais extrema de condições "favoráveis"?
11
A única coisa que "favorece" um experimento é a solidez da resposta. E, entre outras coisas, tenta "não favorecer" uma hipótese específica.
Rapaio
4

Se você primeiro coleta dados e depois constrói uma teoria baseada nos dados, corre o risco de ajustar uma história às suas observações. O problema é que nós, humanos, somos extremamente bons em escrever histórias. Em outras palavras: qualquer dado pode ser "explicado" por uma história, se ela for complicada o suficiente.

Esse processo fornece boas histórias. No entanto, não há razão para explicar a realidade e / ou fornecer boas previsões. Você precisa configurar e validar um modelo para isso.

O xkcd observa que esse fenômeno permeia o "comentário" dos esportes :

comentário esportivo

Relacionado é o fenômeno da pareidolia : ver padrões onde não existem. Veja, por exemplo, o "Rosto" que as pessoas viram nas imagens de satélite anteriores de Marte:

Rosto marciano

Além disso, ao coletar mais dados, você precisa ter cuidado para não ajustar sua história de maneiras cada vez mais bizarras para fazê-la "continuar" a "explicar" suas observações :

precedente eleitoral

S. Kolassa - Restabelecer Monica
fonte
2

A ciência opera formando hipóteses (que são naturalmente motivadas pela experiência), fazendo previsões com base nessas hipóteses e testando-as. Faria sentido observar algo no passado, generalizar essa observação em uma teoria, mas depois tratar o próprio passado como uma espécie de experimento retroativo que valida automaticamente a teoria? Não, porque toda a questão era até que ponto sua teoria se generaliza, não se funcionou ou não uma vez no passado. É por isso que testar hipóteses sugeridas pelos dados é considerado uma ciência ruim.

dsaxton
fonte
1

Seu professor e as outras respostas estão certas quando a análise post-hoc tem problemas. No entanto, você também está certo de que muita ciência boa vem da análise post-hoc. O ponto-chave é que experimentos adequadamente projetados devem ser preferidos e que a análise post-hoc deve ser tratada com cautela e com ferramentas especiais para evitar a falta de artefatos espúrios pelas descobertas reais. O artigo da Wikipedia sobre a taxa de falsas descobertas pode fornecer informações sobre o problema.

Apenas para dar alguns exemplos:

  • Se tomarmos medidas biométricas em toda a população mundial de bovinos, podemos concluir que o gado tem duas narinas. De fato, é uma análise post-hoc, mas a maior parte da biologia, vulcanologia ou história foi construída dessa maneira. A razão pela qual não descartamos o fato de o gado ter duas narinas é a evidência a favor de ser tão avassaladora.
  • Coletamos dados de bezerros nascidos no ano anterior em uma determinada fazenda de gado. Percebemos que em todas as terças-feiras sob a lua cheia, mais de 50% dos bezerros recém-nascidos eram do sexo feminino - exceto nos feriados públicos naquele país ou nas terças-feiras de inverno. Se já tivéssemos feito a hipótese de que esses tipos de dias produziam mais bezerros fêmeas, poderíamos fazer um teste de hipótese e aceitar (ou rejeitar) essa hipótese. No entanto, se considerarmos que é apenas uma análise post-hoc, as evidências não serão suficientes para rejeitar um fenômeno espúrio.

Há um artigo frequentemente citado que ironicamente descarta todas as evidências de que os pára-quedas são úteis como anedóticos - o que é apenas uma classe de evidência particularmente ruim, baseada em análises post-hoc.

E para usar um bom exemplo usado pela resposta de Stephan Kolassa: algumas manchas escuras que se assemelham a um rosto em Marte podem ser rejeitadas como pareidolia, mas algo que reproduz a Última Ceia de Leonardo Da Vinci nos mínimos detalhes não pôde.

Pere
fonte
0

Se você não tem uma teoria que apóie suas proposições, mesmo que sua proposição seja validada, isso pode ser por coincidência e não prova nada. Por exemplo, acho que faço penico quando o sol nasce e o faz nos últimos 10 anos - com base nesses dados, uma análise post-hoc me diz que há uma relação entre fazer penico e o nascer do sol, enquanto o que existe é apenas uma coincidência. O sol não nasce porque você faz o penico ou vice-versa.

A vida é cheia de coincidências. As proposições apoiadas pela teoria eliminam tais coincidências ou pseudo-relações.

Jake
fonte
Se eu tenho uma teoria e os resultados se encaixam nessa teoria, também poderia ser coincidência. É por isso que as teorias não podem ser validadas, apenas falsificadas. E, de fato, há uma relação entre os movimentos intestinais da manhã e o nascer do sol, porque os movimentos do sol ditam o ritmo diurno e, por sua vez, influencia os movimentos intestinais.
0

Aqui está uma intuição que você pode achar útil. Se você está entediado e conta carros, ainda precisa se lembrar de que o que vê é o resultado de algum processo aleatório. Em particular, os carros poderiam ter cores diferentes.

Portanto, se você formar a hipótese de que a cor mais frequente é o branco, talvez seja porque realmente é, mas também pode ser que a cor mais frequente seja o vermelho, mas, nesse experimento específico, o mais frequente era o branco (o que é sempre possível )

Agora, se você fizer post-hoc , testará se o branco é o mais frequente e, dado que os dados sugerem essa mesma hipótese, você pode concluir que o branco é o mais frequente ... Pelo menos, os dados nunca contradizem a hipótese (post-hoc).

AG
fonte