Significado de baixo poder na neurociência após a combinação de resultados de muitas meta-análises (Button et al 2013)

7

Em um artigo de revisão de 2013 na Nature Neuroscience, Button et al. Falha de energia: por que o tamanho pequeno da amostra prejudica a confiabilidade da neurociência , foi afirmado que:

o poder estatístico médio dos estudos nas neurociências é muito baixo

Eles procuraram por meta-análises, calcularam o poder post-hoc em cada uma delas e combinaram os resultados tomando o poder mediano post-hoc. A mediana foi de 20%. Eu simplesmente não entendo. O poder post-hoc é sempre inerentemente associado aos valores-p alcançados. Não é o mesmo que escrever que o valor p mediano era algo como ~ 0,3, que corresponde ao poder post-hoc de 20%?

Então, basicamente, como esse resultado prejudica a qualidade da pesquisa em neurociências? Parece que eles estão publicando estudos com muitos valores de p não significativos.

Esta revisão é um estudo da Nature Neuroscience com autores muito famosos, então acho que minha interpretação é provavelmente mais falha.

EDIT: Gostaria de ver algum ponto se eles incluíssem apenas estudos com significado nominal. Nesse caso, o poder mediano indicaria a probabilidade de replicação mediana de achados significativos.

arkiaamu
fonte
11
O poder post hoc é inútil e enganoso. Veja Hoenig & Heisey (2001, The American Statistician ) . "É um estudo da natureza com autores muito famosos, então acho que minha interpretação é provavelmente mais falha". - esta é uma conclusão falsa. Nature , Science e revistas semelhantes selecionam resultados surpreendentes, não estatísticas válidas. Infelizmente, os revisores aqui normalmente não conhecem mais estatísticas do que aqueles em periódicos de classificação inferior.
precisa saber é o seguinte
11
Concordo que a análise de poder post hoc de um único estudo é inútil e enganosa. No entanto, acho que é significativo fazer uma declaração sobre o nível de poder típico de uma área de pesquisa, pois isso não está vinculado à descoberta de um estudo específico em nível interpretativo. As suposições de fazê-lo, no entanto, podem ser questionáveis ​​se a meta-análise tiver resultados heterogêneos, como é frequentemente o caso.
precisa saber é o seguinte
11
@StephanKolassa Concordo que pode haver lixo publicado na Nature ou Science, mas acho o seu comentário um pouco inútil, a menos que você esteja familiarizado com este estudo em particular. Na verdade, o IMHO é um bom artigo, e eles não estão fazendo o poder post hoc, então o entendimento do OP é realmente defeituoso. A resposta de dbwilson parece explicar isso corretamente (+1).
Ameba
Parece que baixos valores de p estão sendo mal interpretados como não significativos. Portanto, é difícil responder à pergunta. Mais confusão é causada pela introdução da idéia de mediana nessa perspectiva. A questão pode ser melhorada com a definição de certos conceitos.
Subhash C. Davar

Respostas:

6

Não estou familiarizado com este estudo em particular, mas estou familiarizado com a estimativa do poder de uma área de pesquisa usando uma metanálise. Sua afirmação de que "o poder post hoc está sempre inerentemente associado aos valores-p alcançados" sugere-me que você está assumindo que o poder post-hoc de cada estudo individual que contribui para uma única meta-análise se baseia na suposição de que o efeito observado é igual ao verdadeiro efeito populacional. Somente com essa suposição o poder post hoc será relacionado ao valor-p (pessoalmente considero inútil essa forma de análise de poder post hoc, mas esse é um tópico um pouco estranho).

O que acredito que os autores deste artigo estão fazendo, considerando que é o que normalmente é feito, é assumir que a média meta-analítica é o verdadeiro efeito populacional e estimar o poder dos estudos que contribuem para essa média usando esse valor, não efeito observado de cada estudo. Assim, o poder médio dentro de uma meta-análise é uma função do efeito médio meta-analítico geral e do tamanho da amostra (ou erros padrão) dos estudos individuais. Eles fizeram isso para cada meta-análise e computaram o poder mediano entre eles.

dbwilson
fonte
11
Por curiosidade, dei uma olhada no artigo e eles usam o G * Power , cujos autores explicitamente negam análises de "poder retrospectivo" . (. Pelo menos no Faul et al estudo de 2007 ligada a partir de seu site, eu não usei o software.)
GeoMatt22
+1. Eu conheço o Button et al. 2013, usado no ensino, e acredito que esta é a resposta correta. Cc para @ GeoMatt22. Se você tem um estudo com n = 10 e outro com n = 1000, e o grande estudo mostra que o efeito é muito pequeno, é perfeitamente bom fazer uma "meta-análise", conclua que o verdadeiro efeito provavelmente é pequeno ( com base no grande estudo) e conclui ainda que o pequeno estudo deve ter uma potência muito baixa - mesmo que tenha relatado um valor-p significativo e um grande tamanho de efeito. Não sei por que alguém negaria isso.
Ameba
@amoeba Não estou familiarizado com esta área e espero que meu comentário não tenha dado errado: ele pretendia apoiar o primeiro parágrafo da resposta, ou seja, o software que os autores usaram suporta análises post-hoc, mas não análises retrospectivas. E o que o OP está chamando de " post hoc " pode ser o que costuma ser chamado de " retrospectiva ". (Mas, novamente, eu não estou familiarizado com o campo.)
GeoMatt22