Verificação de sanidade: quão baixo pode um valor-p?

24

Eu estou usando um teste ranksum comparar a média de duas amostras ( ) e descobriram que eles são significativamente diferentes, com: . Devo suspeitar de um valor tão pequeno ou devo atribuí-lo ao alto poder estatístico associado a ter uma amostra muito grande? Existe algo como um valor suspeitosamente baixo ? $n=120000$ p = 1.12E-207 $p$ $p$

hypothesis-testing p-value sample-size power N26
fonte

Isso é quase uma duplicata do stats.stackexchange.com/questions/78839 .

Ameba diz Restabelecer Monica

30

Os valores P em computadores padrão (usando flutuadores de precisão dupla IEEE) podem chegar a aproximadamente . Esses cálculos podem ser legitimamente corretos quando os tamanhos dos efeitos são grandes e / ou os erros padrão são baixos. Seu valor, se calculado com uma distribuição T ou normal, corresponde a um tamanho de efeito de cerca de 31 erros padrão. Lembrando que os erros padrão costumam escalar com a raiz quadrada recíproca de $10^{-303}$ , que reflete uma diferença menor que 0,09 desvios padrão (assumindo que todas as amostras são independentes). Na maioria dos aplicativos, não haveria nada suspeito ou incomum nessa diferença. $n$

Interpretar esses valores-p é outra questão. Visualizar um número tão pequeno quanto ou mesmo como uma probabilidade está excedendo os limites da razão, dadas todas as maneiras pelas quais a realidade provavelmente se desvia do modelo de probabilidade subjacente a esse cálculo de valor-p. Uma boa opção é relatar o valor-p como sendo menor que o menor limite que você acha que o modelo pode suportar razoavelmente: geralmente entre e . $10^{-207}$ $10^{-10}$ $0.01$ $0.0001$

whuber
fonte

13

p < 10^{- 26}

$p<10^{-26}$

p < 0.001

$p<0.001$

4

@whuber - Lindamente indicado.

Rolando2

2

(+1) Em algum ponto, é mais provável que o governo está nefariously lançando pedaços de sua memória RAM remotamente com a tecnologia de super espião ...

JMS

4

5 \times 10^{- 324}

$5 \times 10^{-324}$

p

$p$

p

$p$

11

10^{- 308}

$10^{-308}$

16

Não há nada suspeito - valores de p extremamente baixos como o seu são bastante comuns quando o tamanho da amostra é grande (como o seu para comparar medianas). Como mencionado anteriormente, normalmente esses valores de p são relatados como inferiores a algum limite (por exemplo, <0,001).

Uma coisa a ter cuidado é que os valores de p informam apenas se a diferença na mediana é estatisticamente significativa. Se a diferença é significativa o suficiente em magnitude é algo que você terá que decidir: por exemplo, para grandes conjuntos de amostras, diferenças extremamente pequenas nas médias / medianas podem ser estatisticamente significativas, mas isso pode não significar muito.

xuexue
fonte

3

Um valor p pode atingir um valor 0.

$\theta$ $\mathcal{H}_0: \theta = 1$ $X=1.1$

AdamO
fonte

Verificação de sanidade: quão baixo pode um valor-p?

Respostas: