Uma amostra pode ser muito grande para ANOVA ou teste t?

9

Tenho quase um milhão de conjuntos de dados e sempre que executo um teste de comparação médio, ANOVA ou um teste t, obtenho um nível de significância menor que 0,0001 no SPSS. Estou preocupado que minha amostra seja tão grande que, é claro, quando eu comparo os meios, ela será significativamente diferente. Uma amostra pode ser muito grande para ANOVA ou teste t?

anova t-test effect-size large-data user24232
fonte
3
A pergunta é muito bem abordada, portanto, apenas um comentário - é mais uma pergunta para a qual você já está respondendo (você realmente não acha que a população significa que será exatamente igual, não é?) E você tem tamanho de amostra suficiente para dar a resposta já óbvia, mas não muito interessante, de que existem realmente diferenças, mesmo que sejam pequenas. Os tamanhos dos efeitos e os intervalos de confiança são mais úteis que os valores-p, e suas perguntas interessantes tendem a ir mais para questões de viés e descrever as diferenças existentes e julgar sua importância prática.
Glen_b -Reinstate Monica

Respostas:

16

Não, uma amostra não pode ser muito grande para uma ANOVA ou um teste t. Você quase sempre obtém resultados estatisticamente significativos porque possui muito poder; no entanto, isso não significa que você detecta diferenças falsas. De fato, independentemente de quantos casos você tenha, um efeito que não existe não se tornará significativo. Este é um equívoco comum.

Muito poder significa que você pode detectar diferenças quase sem sentido em termos de tamanho. Por exemplo, talvez você descubra que duas corridas têm, em média, alturas diferentes, mas a diferença é de apenas meio milímetro.

Certifique-se de interpretar o tamanho do efeito associado ao seu teste estatístico. Nesse caso, o valor de p vale menos que o tamanho do efeito (como costuma ser)!

Behacad
fonte
Muito correto (+1). O único problema que eu pude ver é se você tiver problemas de memória e tempo de execução. Com computadores modernos, acho que seriam necessários mais de 1 milhão de casos para coisas simples como ANOVA ou teste t.
Peter Flom
O que acontece quando o tamanho da amostra é igual ao tamanho da população? Como alguém escolhe o valor p então?
Sharath
2

Suggst você olha para o seguinte (tudo muito legível e não técnico).
1. Anderson DR, Burnham KP, Thompson WL (2000) Teste de hipótese nula: Problemas, prevalência e uma alternativa. Journal of Wildlife Management 64: 912-923. 2. Gigerenzer G (2004) Estatísticas sem sentido. Journal of Socio-Economics 33: 587-606. 3. Johnson DH (1999) The Insignificance of Statistical Significance Testing. The Journal of Wildlife Management 63: 763-772.

Tom Wilding
fonte