Estou tentando comparar dados de 2 populações para saber se a diferença entre os tratamentos é estatisticamente significativa. Os conjuntos de dados parecem ser normalmente distribuídos com muito pouca diferença entre os dois conjuntos. A diferença média é 0,00017. Realizei um teste t emparelhado, esperando não rejeitar a hipótese nula de não haver diferença entre as médias; no entanto, meu valor t calculado é muito maior que meu valor t crítico.
statistical-significance
t-test
paired-data
Kscicc26
fonte
fonte
Respostas:
Não vejo razão para acreditar que você fez algo errado apenas porque o teste foi significativo, mesmo que a diferença média seja muito pequena. Em um teste t emparelhado, o significado será conduzido por três coisas:
É certo que sua diferença média é muito, muito pequena. Por outro lado, você possui uma quantidade razoável de dados (N = 335). O último fator é o desvio padrão das diferenças. Não sei o que é isso, mas como você obteve um resultado significativo, é seguro assumir que ele é pequeno o suficiente para superar a pequena diferença média com a quantidade de dados que você possui. Para criar uma intuição, imagine que a diferença pareada para cada observação em seu estudo fosse 0,00017; o desvio padrão das diferenças seria 0. Certamente, seria razoável concluir que o tratamento levou a uma redução (embora um pequeno).
Como o @whuber observa nos comentários abaixo, vale ressaltar que, embora 0,00017 pareça um número muito pequeno, mas não necessariamente pequeno em termos significativos. Para saber disso, precisaríamos saber várias coisas, primeiro quais são as unidades. Se as unidades forem muito grandes (por exemplo, anos, quilômetros etc.), o que parecer pequeno poderá ser significativamente grande, enquanto que se as unidades forem pequenas (por exemplo, segundos, centímetros etc.), essa diferença parecerá ainda menor. Segundo, mesmo uma pequena mudança pode ser importante: imagine algum tipo de tratamento (por exemplo, vacina) muito barato, fácil de administrar a toda a população e sem efeitos colaterais. Pode valer a pena, mesmo que tenha salvado apenas algumas vidas.
fonte
Para saber se uma diferença é realmente grande ou pequena, requer alguma medida de escala, o desvio padrão é uma medida de escala e faz parte da fórmula do teste t para explicar em parte essa escala.
Considere se você está comparando as alturas de 5 anos com as de 20 anos (humanos, mesma área geográfica, etc.). A intuição nos diz que existe uma diferença prática e, se as alturas forem medidas em polegadas ou centímetros, a diferença parecerá significativa. Mas e se você converter as alturas em quilômetros? ou anos-luz? a diferença será um número muito pequeno (mas ainda diferente), mas (exceto o erro de arredondamento) o teste t fornecerá os mesmos resultados, independentemente da altura ser medida em polegadas, centímetros ou quilômetros.
Portanto, uma diferença de 0,00017 pode ser enorme, dependendo da escala das medições.
fonte
unlikely to emerge at least as large in another, similar pair of samples selected randomly from the same populations if the null hypothesis of no difference is literally true of those populations.00001Talvez você esteja mais interessado em significado prático do que nesse sentido literal de teste de significado de hipótese nula. O significado prático dependerá muito mais do significado dos seus dados no contexto do que do significado estatístico; não é uma questão puramente estatística. Eu citei um exemplo útil desse princípio em uma resposta a uma pergunta popular aqui, Acomodando visualizações entrincheiradas de valores-p :
Essa "questão da vida e da morte" era basicamente o tamanho do efeito da aspirina nos ataques cardíacos - um exemplo poderoso de diferenças numericamente pequenas e muito menos consistentes, com significado praticamente importante. Muitas outras perguntas com respostas sólidas das quais você pode se beneficiar merecem links aqui, incluindo:
Referência
Rosenthal, R., Rosnow, RL, & Rubin, DB (2000). Contrastes e tamanhos de efeito na pesquisa comportamental: Uma abordagem correlacional . Cambridge University Press.
fonte
Aqui está um exemplo em R que mostra os conceitos teóricos em ação. 10.000 tentativas de jogar uma moeda 10.000 vezes com probabilidade de 0,0001 em comparação com 10.000 tentativas de jogar uma moeda 10.000 vezes com probabilidade de 0,00011
t.test (rbinom (10000, 10000, .0001), rbinom (10000, 10000, .00011))
t = -8,0299, df = 19886,35, p-valor = 1,03e-15 hipótese alternativa: a diferença verdadeira nas médias não é igual a 0 intervalo de confiança de 95%: -0,14493747 -0,08806253 estimativas da amostra: média de x média de y 0,9898 1,1063
A diferença na média é relativamente fechada para 0 em termos de percepção humana, porém é estatisticamente diferente de 0.
fonte