Um valor de p de 0,04993 é suficiente para rejeitar a hipótese nula?

Em um teste de significância estatística de postos assinados de Wilcoxon, encontramos alguns dados que produzem um valor- de . Com um limiar de , esse resultado é suficiente para rejeitar a hipótese nula, ou é mais seguro dizer que o teste foi inconclusivo, pois se arredondarmos o valor de p para 3 casas decimais, ele se tornará ? $p$ $0.04993$ $p < 0.05$ $0.050$

hypothesis-testing statistical-significance p-value Islam El-Nabarawy
fonte

0,04993 <0,05, então é apenas mais baixo. Seu instinto é bom de que nenhum valor P possa ser confiável com várias casas decimais, mas se o programa indicar menos de 0,05, as pessoas geralmente o consideram como entregue. A questão real aqui é fazer um fetiche com testes de significância em nível fixo, para que <0,05 signifique "real", "publicável", "causa de felicidade" e o oposto signifique "ilusório", "não publicável", "causa de miséria" . A maioria dos bons textos introdutórios sobre estatística discutem isso em certa medida. Um bom é Freedman, Pisani, Purves, Statistics . Nova York: WW Norton, qualquer edição.

Nick Cox

Você deve se perguntar qual seria sua decisão se o valor-p for 0,051? e se for 0,049? Você tomaria decisões diferentes? Por quê?

precisa

Obrigado por seus comentários. No nosso caso, não estamos pensando se os dados são publicáveis ou não, etc ... Estamos simplesmente considerando fazer uma declaração no trabalho sobre a significância estatística desse resultado e queremos garantir que nossa declaração não seja incorreta ou imprecisa .

Islam El-Nabarawy

Reportar P = 0,04993 é o que vem à mente. É difícil prever os comentários dos revisores ou editores. Se você deseja arredondar, especificar uma convenção de arredondamento consistente é sempre uma boa ideia e amplamente aceitável. Algumas pessoas arredondariam para 3 dp e também poderiam usar algum tipo de convenção estrelada, de modo que relatar 0,050 (3 dp) e estrelá-la como <0,05 é consistente.

Nick Cox

Não sei ... talvez devêssemos executar um bootstrap duplo e calcular um intervalo de confiança para o valor- ! Com toda a honestidade, eu relataria: "Os resultados foram significativos, ". Nesse ponto, você está dividindo os cabelos, e todos se lembram subitamente de que 1/20 de chance de um falso positivo é uma maneira completamente arbitrária de administrar a ciência.

p

$p$

0.049 < p < 0.050

$0.049 < p < 0.050$

Adamo

Respostas:

Há duas questões aqui:

1) Se você está fazendo um teste formal de hipóteses (e se você já citou um valor-p no meu livro, já o é), qual é a regra de rejeição formal?

Ao comparar estatísticas de teste com valores críticos, o valor crítico está na região de rejeição . Embora essa formalidade não importe muito quando tudo é contínuo, importa quando a distribuição da estatística do teste é discreta.

Da mesma forma, ao comparar valores-p e níveis de significância, a regra é:

Rejeite se $p\leq\alpha$

Observe que, mesmo se você arredondou seu valor de p para 0,05, mesmo se o valor de $p$ fosse exatamente 0,05, formalmente, você ainda deve rejeitar .

2) Em termos de 'o que nosso valor p está nos dizendo', supondo que você possa até interpretar um valor p como 'evidência contra o nulo' (digamos que a opinião sobre isso esteja um pouco dividida), 0,0499 e 0,0501 não são realmente dizendo coisas diferentes sobre os dados (os tamanhos dos efeitos tendem a ser quase idênticos).

$\alpha = 0.05$

Glen_b -Reinstate Monica
fonte

Mas, novamente, você pode usar argumentos muito semelhantes para não rejeitar nulo. Não há nada de especial em 0,05; se você tivesse escolhido 0,06 como seu limite, provavelmente não faria a pergunta, mas a situação não seria muito diferente ... Antes, nessas situações, eu perguntaria: "qual é o real- significado da vida desse resultado? ". Por exemplo, se esse fosse um experimento biológico, procuraria o significado biológico do resultado específico, relataria o valor-p como ele é e, em vez disso, comentaria a biologia.

Nico 12/10

@nico esse já era o objetivo do meu item (2); ele argumenta contra o excesso de confiança na abordagem formal em (1)

Glen_b -Reinstate Monica 12/10

Obrigado Glen e Nico. Como parte dos dados era secundária às nossas experiências, acabamos relatando o valor como está. De qualquer forma, estou marcando isso como a resposta aceita. Obrigado novamente a todos que participaram com respostas ou comentários.

Islam El-Nabarawy 13/10

Está nos olhos de quem vê.

$\alpha$ $\alpha=0.05$

Então, tudo se resume ao que o AlefSin comentou antes. Não pode haver uma "resposta correta" para sua pergunta. Relate o que recebeu, arredondado ou não.

Existe uma enorme literatura sobre o "significado do significado"; ver, por exemplo, o artigo recente de um dos principais estatísticos alemães Walter Krämer sobre "O culto da significância estatística - O que os economistas devem e não devem fazer para que seus dados falem", Schmollers Jahrbuch 131 , 455-468, 2011.

Ardiloso
fonte

-6

$p=0.05$

O problema fundamental é esta frase: "Nós veio através de alguns dados ...".

$p$ $p$

Existe um nome para esse tipo de infração estatística: dragagem de dados . Sou ambivalente em relatar isso no jornal como uma hipótese interessante; tem algum motivo físico que você espera que seja?

Existe, no entanto, uma saída. Talvez você decidiu a priori para realizar apenas isso um teste em apenas isso um conjunto de dados. Você anotou isso no caderno de anotações do laboratório, na frente de alguém, para que pudesse provar mais tarde. Então você fez seu teste.

$p=0.05$

Mike McCoy
fonte

Isso pode depender demais de uma escolha específica de fraseado; você está assumindo bastante o que pode ser simplesmente uma má escolha de palavras - nem todos aqui têm o inglês como primeira língua. Definitivamente, vale a pena levantar como um problema em potencial, mas simplesmente declarar as coisas de maneira tão careca ("absolutamente não") implica que você sabe mais do que podemos dizer do que está aqui. (Além disso, a referência a um 'caderno de laboratório' implica que o OP está trabalhando em um laboratório. Duvido que seja esse o caso. Novamente, você implica que sabe mais do que temos aqui.)

Glen_b -Reinstate Monica

Mike McCoy, obrigado pela resposta, mas, neste caso, Glen_b está correto. Não sou um falante nativo de inglês e, apesar de me esforçar para escrever e falar com a fluência que minhas habilidades permitem, o uso e a conotação continuam me iludindo. Portanto, nesse caso em particular, não tentamos coisas diferentes até encontrar algo significativo. Na verdade, o que estávamos tentando provar é que não houve aumento estatisticamente significativo em algum valor de erro e, em um caso específico, descobrimos que o erro foi realmente reduzido e, quando executamos o teste W, foi nesse ponto que obtivemos 0,0499 .

Islam El-Nabarawy

Mike, eu também não vi problema na formulação da questão. E parece que ninguém mais viu sinais de bisbilhotagem, mineração, dragagem de dados aqui ... E isso definitivamente está nos olhos de quem vê. Não há fato matemático, mas uma regra de decisão escolhida pelo estatístico. Releia o que AlefSin, Glen em seu ponto (2) e eu escrevemos.

Skullduggery

@ IslamEl-Nabarawy Se você deseja estabelecer equivalência / falta de diferença, tem muitos outros problemas além de como interpretar um valor próximo ao limite ou a possível invasão de dados. Apenas encontrar um valor- p ligeiramente acima de 0,05 (ou qualquer nível de erro que você escolher) definitivamente não é suficiente. Procure "testes de equivalência" aqui e em outros lugares ou faça uma pergunta especificamente sobre isso, porque é um problema totalmente diferente.

Gala #

"Existe, no entanto, uma saída. Talvez você tenha decidido a priori realizar apenas esse teste em apenas um conjunto de dados. Você anotou isso no caderno de anotações do laboratório, na frente de alguém, para que pudesse provar isso mais tarde. você fez o teste. Se você fez isso, seu resultado é válido no nível p = 0,05 e pode fazer backup para céticos como eu. Caso contrário, desculpe, não é um resultado estatisticamente significativo " Fale sobre culpa até prova inocente. Então, na ausência de evidências forenses descartando a desonestidade acadêmica, uma análise é inútil? Sheesh.

GoF_Logistic 03/03