Em um artigo de revisão de 2013 na Nature Neuroscience, Button et al. Falha de energia: por que o tamanho pequeno da amostra prejudica a confiabilidade da neurociência , foi afirmado que:
o poder estatístico médio dos estudos nas neurociências é muito baixo
Eles procuraram por meta-análises, calcularam o poder post-hoc em cada uma delas e combinaram os resultados tomando o poder mediano post-hoc. A mediana foi de 20%. Eu simplesmente não entendo. O poder post-hoc é sempre inerentemente associado aos valores-p alcançados. Não é o mesmo que escrever que o valor p mediano era algo como ~ 0,3, que corresponde ao poder post-hoc de 20%?
Então, basicamente, como esse resultado prejudica a qualidade da pesquisa em neurociências? Parece que eles estão publicando estudos com muitos valores de p não significativos.
Esta revisão é um estudo da Nature Neuroscience com autores muito famosos, então acho que minha interpretação é provavelmente mais falha.
EDIT: Gostaria de ver algum ponto se eles incluíssem apenas estudos com significado nominal. Nesse caso, o poder mediano indicaria a probabilidade de replicação mediana de achados significativos.
fonte
Respostas:
Não estou familiarizado com este estudo em particular, mas estou familiarizado com a estimativa do poder de uma área de pesquisa usando uma metanálise. Sua afirmação de que "o poder post hoc está sempre inerentemente associado aos valores-p alcançados" sugere-me que você está assumindo que o poder post-hoc de cada estudo individual que contribui para uma única meta-análise se baseia na suposição de que o efeito observado é igual ao verdadeiro efeito populacional. Somente com essa suposição o poder post hoc será relacionado ao valor-p (pessoalmente considero inútil essa forma de análise de poder post hoc, mas esse é um tópico um pouco estranho).
O que acredito que os autores deste artigo estão fazendo, considerando que é o que normalmente é feito, é assumir que a média meta-analítica é o verdadeiro efeito populacional e estimar o poder dos estudos que contribuem para essa média usando esse valor, não efeito observado de cada estudo. Assim, o poder médio dentro de uma meta-análise é uma função do efeito médio meta-analítico geral e do tamanho da amostra (ou erros padrão) dos estudos individuais. Eles fizeram isso para cada meta-análise e computaram o poder mediano entre eles.
fonte