Como convenção, temos muitos estudos cujo nível de significância é e um poder de . No entanto, é extremamente raro encontrar um estudo cujo com um poder de .
Pelo que entendi, após a realização de um experimento, o nível de significância não importa se o resultado não for significativo, porque, neste caso, estamos considerando se faz sentido aceitar o nulo e todos os que nos importam é o poder. Da mesma forma, se o resultado for significativo, o nível de significância se tornará sua evidência, enquanto o poder do teste faz absolutamente nenhuma diferença. (Por "não importa", quero dizer "não é para o propósito deste experimento". Tanto o nível de significância quanto o poder devem ser importantes para os meta-estudos; portanto, informe ambos na sua publicação!)
Se eu estiver correto, o nulo e a alternativa são, em certa medida, simétricos: a hipótese nula não exige inerentemente mais proteção. Se você quiser provar a alternativa, diga "esta nova droga afeta os pacientes" e use um muito pequeno e uma potência moderadamente alta. Por outro lado, quando você quiser provar o nulo, por exemplo, em um teste de normalidade, escolha um moderadamente pequeno e uma potência muito alta, para poder aceitar o nulo confidencialmente.
Por que as experiências com moderadamente pequeno e com potência muito alta são tão raras?
Respostas:
Tudo isso é um pouco relativo, mas certamente alguém poderia argumentar que o nível de significânciaα = 0,05 já é fraco e já constitui um sacrifício feito por poder superior (por exemplo, relativo ao nível de significância α = 0,01 ou outros níveis mais baixos de significância). Embora as opiniões sobre isso sejam diferentes, minha opinião é de que este já é um nível de significância muito fraco, portanto, escolhê-lo já é uma troca para obter maior poder.
Entendo por que você pode pensar isso, mas não é realmente verdade. No teste clássico de hipóteses, há uma interação bastante complexa e sutil nessas coisas. Lembre-se de que tanto o valor p quanto o poder pertencem às probabilidades que condicionam o estado real das hipóteses (as condições do valor p no nulo e as condições de energia na alternativa). Quando obtém o resultado dos dados, você faz uma inferência sobre as hipóteses, mas ainda não sabe o seu verdadeiro estado. Portanto, não é realmente legítimo dizer que você pode ignorar completamente a "outra metade" do teste. Independentemente de o resultado ser estatisticamente significativo ou não, a interpretação desse resultado é feita holisticamente, com relação a todas as propriedades do teste.
Também é importante notar que, para um modelo e teste fixos e um tamanho fixo de amostra, a função power é uma função do nível de significância escolhido. O nível de significância escolhido determina a região de rejeição, o que afeta diretamente o poder do teste. Então, novamente, há um relacionamento entre essas coisas e você não pode ignorar "metade" das propriedades do teste.
fonte
Este é mais um comentário extenso do que uma resposta. Uma perspectiva interessante pode ser encontrada nesta postagem do blog , uma breve citação:
Se isto estiver correto, então Fisher pode ter querido dizer com significativa em vez algo como digno de tomar uma nota (mental ou no caderno de laboratório), digno de uma investigação mais aprofundada ou replicação.
Este artigo psyarxiv, que propõe reduzir o nível de significância padrão (na pesquisa em psicologia) de 0,05 para 0,005, é mais uma evidência que muitos vêem (com razão ...) que 0,05 já é um requisito bastante fraco.
fonte
Como os erros do tipo II são considerados menos problemáticos do que os erros do tipo I. Erros do tipo I têm maiores implicações para pesquisas futuras. Além disso, na maioria das vezes, experimentos com alta potência são muito mais caros.
Mas é claro que você também pode questionar toda a estrutura do NHST e a maneira como ela é frequentemente usada por pesquisadores desconhecidos ...
fonte