Cálculo do poder estatístico

22

Pelo que entendi, preciso conhecer pelo menos três aspectos (em quatro) do meu estudo proposto para realizar a análise de poder, a saber:

  • tipo de teste - pretendo usar re de Pearson e ANCOVA / Regressão - GLM
  • nível de significância (alfa) - pretendo usar 0,05
  • tamanho esperado do efeito - pretendo usar um tamanho médio de efeito (0,5)
  • tamanho da amostra

Alguém poderia recomendar uma boa calculadora de energia on-line que eu possa usar para fazer um cálculo de energia a priori . (O SPSS pode fazer um cálculo de potência a priori ?)

Me deparei com o GPower, mas estou procurando uma ferramenta mais simples!

Adhesh Josh
fonte
Infelizmente, o pacote SPSS não inclui um módulo para análise de energia. A empresa IBM SPSS vende um programa separado para análise de energia.
ttnphns
6
Eu daria uma chance ao GPower. Com 20 ou 30 minutos para explorá-lo, você provavelmente achará muito gerenciável - pelo menos para procedimentos como correlação, não necessariamente para um modelo de regressão complicado.
Rolando2
Obrigado! Existe um guia amigável disponível no GPower?
Adhesh Josh
Parece que é para um pedido de concessão. Estes são irritantes para produzir e avaliar. Para projetos experimentais bem utilizados (estudos de associação em todo o genoma, por exemplo), pode haver calculadoras especializadas bem documentadas. Caso contrário, acho que a resposta de G. Jay Kerns é o caminho certo a seguir com a seguinte adição: enquanto você estiver nisso, simule uma variedade dos parâmetros mais importantes e apresente um gráfico.
Leo Schalkwyk

Respostas:

43

Receio que não seja uma resposta que você queira ouvir, mas vou dizer assim mesmo: tente resistir à tentação das calculadoras on-line (e economize seu dinheiro antes de comprar calculadoras proprietárias).

Aqui estão algumas das razões pelas quais: 1) todas as calculadoras on-line usam notação diferente e geralmente são mal documentadas. É uma perda de tempo. 2) O SPSS oferece uma calculadora de energia, mas eu nunca tentei porque era muito caro para o meu departamento pagar! 3) Frases como "tamanho médio do efeito" são, na melhor das hipóteses, enganosas e, na pior das hipóteses, simplesmente erradas para todos, exceto os projetos de pesquisa mais simples. Existem muitos parâmetros e muita interação para poder destilar o tamanho do efeito em um único número em [0,1]. Mesmo se você pudesse colocá-lo em um único número, não há garantia de que o 0,5 de Cohen corresponda a "médio" no contexto do problema.

Acredite em mim - é melhor a longo prazo morder a bala e ensinar a si mesmo como usar a simulação em seu benefício (e o benefício da (s) pessoa (s) que você está consultando). Sente-se com eles e execute as seguintes etapas:

1) Decida um modelo que seja apropriado no contexto do problema (parece que você já trabalhou nesta parte).

2) Consulte-os para decidir quais devem ser os parâmetros nulos, o comportamento do grupo de controle, o que quer que isso signifique no contexto do problema.

3) Consulte-os para determinar quais devem ser os parâmetros para que a diferença seja praticamente significativa . Se houver limitações no tamanho da amostra, isso também deve ser identificado aqui.

4) Simule dados de acordo com os dois modelos em 2) e 3) e execute seu teste. Você pode fazer isso com abundância de software - escolha o seu favorito e faça o mesmo. Veja se você rejeitou ou não.

np^p^(1-p^)/n

Se você fizer sua análise de energia dessa maneira, encontrará várias coisas: A) havia muito mais parâmetros em execução do que você jamais imaginou. Isso fará você se perguntar como é possível agrupar todos eles em um único número como "médio" - e você verá que isso não é possível, pelo menos não de maneira direta. B) seu poder será muito menor do que muitas outras calculadoras anunciam. C) você pode aumentar a potência aumentando o tamanho da amostra, mas cuidado! Você pode achar que, para detectar uma diferença "praticamente significativa", é necessário um tamanho de amostra proibitivamente grande.

Se você tiver algum problema com alguma das etapas acima, poderá coletar seus pensamentos, formule uma pergunta para o CrossValidated e as pessoas aqui o ajudarão.

EDIT: No caso de você achar que precisa absolutamente usar uma calculadora on-line, a melhor que encontrei é a página Poder e tamanho da amostra de Russ Lenth . Já existe há muito tempo, possui documentação relativamente completa, não depende do tamanho do efeito enlatado e possui links para outros documentos relevantes e importantes.

OUTRA EDIÇÃO: Coincidentemente, quando essa pergunta surgiu, eu estava no meio de escrever uma postagem no blog para aprofundar algumas dessas idéias (caso contrário, talvez eu não tivesse respondido tão rapidamente). Enfim, terminei no fim de semana passado e você pode encontrá-lo aqui . Não está escrito com o SPSS em mente, mas eu apostaria que se uma pessoa fosse esperta, seria capaz de traduzir partes dela para a sintaxe do SPSS.


fonte
8
+1 boa resposta. Vale ressaltar as desvantagens da simulação. (A alternativa é que as curvas de potência possam ser computadas matematicamente.) A simulação torna-se difícil de manejar quando muitos parâmetros (como tamanho do efeito e tamanho da amostra) precisam ser manipulados ou quando você está buscando algum valor limite, como um tamanho mínimo da amostra. Mesmo uma expressão exata aproximada da potência pode ser valiosa para indicar em geral como ela se comporta e para identificar soluções iniciais que podem ser polidas com um pouco de simulação.
whuber
2
@whuber Obrigado, e você está absolutamente certo. Seu comentário me lembra que muitas vezes há incerteza adicional nos parâmetros nulo / alt (poucas informações, estudos-piloto ruins etc.) que adicionam outra camada de complexidade à abordagem de simulação. Esse é outro benefício da abordagem matemática.
2
Em vez de fixar os valores dos parâmetros desconhecidos, é útil simulá-los atribuindo uma distribuição anterior a esses parâmetros e obtendo uma "potência anterior" (essa não é uma abordagem bayesiana, apesar do conceito de distribuição prévia, porque simulamos o resultado do teste freqüentista)
Stéphane Laurent
6
Existem dois problemas com a simulação: Aprender (este é solúvel) e concluir a etapa 3. Na minha experiência, nenhum dos meus clientes estaria disposto a fazer 3). Muitos têm dificuldade em especificar QUALQUER tamanho de efeito. Pedir que eles especifiquem os parâmetros em (digamos) uma equação de regressão múltipla seria ... bem, eles não saberiam responder, mesmo que soubessem o significado, não estariam dispostos a especificar.
Peter Flom - Restabelece Monica
2
Stephane sim, você está certo, e foi isso que eu quis dizer com a camada extra que eu estava tentando comunicar. @Peter Sigh! Sim, eu também encontrei isso. Eu tento falar sobre meios, erros padrão, etc, e depois elaborar o máximo de matemática possível depois. Parte disso é uma barreira de comunicação que às vezes é um desafio. A parte da falta de vontade é ainda mais difícil, no entanto. Costumava desistir e tentar preencher os espaços em branco, mas raramente funcionava bem. Ou seja, a resposta é essencialmente um tiro no escuro com uma venda nos olhos e para trás.