Eu tenho duas amostras bem pequenas ( para cada) e recebo uma potência de teste t de duas amostras para elas 0,49, que é relativamente pequena (calculada por R ). No entanto, o teste t Welch Two Sample fornece um valor p de aqui e, portanto, a hipótese nula pode ser rejeitada.0,032power.t.test()
Agora devo me preocupar que o poder é pequeno?
Meu entendimento é que poder = onde é a probabilidade de erro do tipo II. Aqui, isso significa que meu teste falharia em rejeitar H0 em cerca de 50% dos casos em que deveria ser rejeitado; portanto, eu deveria estar preocupado, especialmente quando minhas amostras particulares não puderam rejeitar H0. Mas, no caso de minhas amostras particulares, parece que eu tenho sorte e meu teste t, com alguma falta de poder, conseguiu rejeitar, então não preciso me preocupar com beta e posso aproveitar a possibilidade de mostrar uma diferença significativa na amostra significa.β
Minha interpretação está correta? Ou sinto falta de algo importante?
Respostas:
Em um sentido restrito, você está correto. O poder é a chance de rejeitar corretamente uma hipótese nula falsa, então você teve uma pequena chance, mas conseguiu fazê-lo de qualquer maneira.
No entanto, de uma perspectiva bayesiana de atualização de crenças, "reduzir o poder implica reduzir a mudança de crença que se justifica pela observação de um resultado estatisticamente significativo (McClelland et al. 2015)". Pense da seguinte maneira: se eu lhe dissesse que entrevistei 30.000 pessoas do público em geral e descobri que, ao contrário dos números de vendas, as pessoas tendem a gostar mais da Pepsi do que da Coca-Cola, isso seria muito atraente. Encontrei um resultado depois de estudar 1% da população (ou seja, o público em geral dos EUA). É provável que generalize para a população maior. Se eu pesquisasse 7 pessoas e encontrasse a mesma coisa, mesmo que fosse estatisticamente significativa, não convenceria ninguém. Você pode argumentar por várias razões (não é possível obter uma amostra representativa, as suposições de ANOVA / regressão podem não ser atendidas etc.), mas o que ' O importante é que o alto poder significa altamente persuasivo (e você deve ser tão crítico ou mais dos seus resultados quanto aqueles que está tentando convencer). Para a matemática bayesiana, bem como explicações adicionais, você pode conferir qualquer um dos seguintes.
Além disso, Ioannidis (2005) fornece alguns argumentos convincentes para resultados de baixa potência, refletindo erros do tipo I, mesmo na ausência de hackers p e outros vieses que geralmente resultam de baixa potência (e o documento é de acesso aberto caso você não trabalhe para uma universidade ou algo semelhante!).
fonte
Então, "deveria [incomodar [você] que o poder é pequeno?" Sim e não. Se você fizesse uma análise de poder post-hoc tradicional (inválida), necessariamente obteria valores como esse - o exercício era completamente pouco informativo. Por outro lado, se levarmos a análise de potência a sério, um efeito significativo com uma configuração de baixa potência basicamente significa que o efeito observado precisa ser enviesado para ser maior do que realmente é, portanto, você deve confiar menos nos resultados.
fonte
Para mais ilustrações, consulte os intervalos de confiança (IC). Pode-se argumentar que um tamanho maior da amostra tornará o IC mais estreito e, portanto, se o teste for significativo para uma amostra menor, também será significativo para a amostra maior. No entanto, também a localização do IC pode mudar quando incluirmos mais dados em nossa amostra, potencialmente tornando o resultado não significativo. Também é concebível que a amostra maior tenha um erro padrão muito maior e, portanto, o IC se torne mais amplo de fato. Pode-se dizer que um tamanho de amostra maior dá aos fatos mais oportunidades de provar a si mesmos.
[1] Colquhoun, "Uma investigação da taxa de falsas descobertas e a interpretação incorreta dos valores-p", Royal Society Open Science, 2014
[2] Colquhoun, "A reprodutibilidade da pesquisa e a má interpretação dos valores P", 2017, http://www.biorxiv.org/content/early/2017/08/07/144337
fonte