Quando (se alguma vez) é uma boa ideia fazer uma análise de poder post hoc?

12

Meu entendimento é que uma análise de poder é post hoc se, e somente se, usar o tamanho do efeito observado como o tamanho do efeito da população-alvo.

power-analysis user1205901 - Restabelecer Monica
fonte

Respostas:

7

No meu campo, vejo pessoas fazendo análises de poder post-hoc quando o objetivo do artigo é mostrar que algum efeito que se poderia esperar estar presente (seja por causa da literatura anterior, bom senso, etc.) não é, pelo menos de acordo com para algum teste de significância.

No entanto, nessas situações, o pesquisador está um pouco confuso - ele ou ela pode ter obtido um resultado não significativo porque o efeito realmente não está presente na população ou porque o estudo não foi suficientemente potente para detectar a efeito mesmo que estivesse presente. O objetivo da análise de poder, então, é mostrar que, dado um efeito trivialmente pequeno na população, o estudo teria uma alta probabilidade de detectar esse efeito.

Para um exemplo concreto desse uso da análise de energia post-hoc, consulte este documento vinculado.

Patrick S. Forscher
fonte
11
Isso certamente parece razoável. Com base na sua resposta, concluo que às vezes há uma boa razão para fazer análises post hoc de potência. Isto é, a menos que exista algum método superior de mostrar que, dado um efeito populacional trivialmente pequeno, um estudo teria uma alta probabilidade de detectar esse efeito. Você conhece algum método desse tipo?
user1205901 - Restabelece Monica
Eu acho que esse método é precisamente uma análise de poder post-hoc. Suponho que um método alternativo possa ser o uso de métodos bayesianos em vez de testes de hipóteses de Pearson, mas no meu campo (psicologia), o teste de hipóteses de Pearson ainda é o paradigma estatístico dominante.
Patrick S. Forscher
Há um enorme problema com a abordagem descrita. As médias são sempre diferentes devido à variação da amostra, portanto, virtualmente, qualquer teste seria capaz de detectar até mesmo um efeito trivialmente pequeno, dada uma amostra grande (aumente seu n para 99999999999 e tudo pode ser significativo). Além disso, no caso de uma hipótese rejeitada, não tenho muita certeza, mas é provável que o "poder obtido" seja <0,5 sempre (ou, na maioria das vezes, pelo menos). Portanto, sempre levava à conclusão de que a amostra não era suficiente.
Bruno
Bruno, sua afirmação não é verdadeira, a menos que o efeito populacional seja diferente de zero. Se o efeito populacional for zero, sim, você obterá pequenas flutuações no efeito observado, mas serão pequenas e completamente descritas pela distribuição amostral do parâmetro de interesse, levando a um efeito significativo a uma taxa determinada porα
Patrick S. Forscher 9/11
4

Você sempre pode calcular a probabilidade de um estudo produzir um resultado significativo para um determinado tamanho de efeito a priori. Em teoria, isso deve ser feito antes da realização de um estudo, porque não faz sentido realizar um estudo com baixa potência e com baixa chance de produzir um resultado significativo quando um efeito está presente. No entanto, você também pode calcular a energia após o estudo para perceber que um estudo tinha baixa energia ou, improvável, alta energia para detectar até mesmo um pequeno efeito.

O termo potência observada post-hoc ou observada é usado para análise de potência que usa tamanhos de efeito observados em uma amostra para calcular a potência sob a suposição de que o tamanho do efeito observado é uma estimativa razoável do tamanho real do efeito. Muitos estatísticos apontaram que o poder observado em um único estudo não é muito informativo porque os tamanhos dos efeitos não são estimados com precisão suficiente para serem informativos. Mais recentemente, os pesquisadores começaram a examinar o poder observado de um conjunto de estudos para examinar quão poderosos são os estudos em média e se os estudos relatam resultados mais significativos do que o poder real dos estudos justificaria.

https://replicationindex.wordpress.com/tag/observed-power/

Dr. R
fonte
Então, @ Dr-r, como alguém poderia se referir ao primeiro tipo de estudo mencionado? Existe um nome correto para isso? Eu usei a função "post hoc" do G * Power, mas usei o tamanho do efeito a priori. A razão pela qual estou fazendo isso é que, a princípio, planejei usar uma diferença média "adivinhada" e um desvio padrão "adivinhado", e eles diferiram muito dos obtidos. Além disso, não consegui atingir o tamanho da amostra planejada nos dois grupos. Não quero usar o termo "post hoc" em meu artigo porque as pessoas podem entender errado. Então, você tem alguma sugestão?
de Bruno