Qual é o intervalo de confiança de um valor-p?

7

O valor é usado para relatar quão fortemente podemos presumir contra uma hipótese. Como fica claro, esse valor de é ele próprio estimado a partir de dados e, se novos dados forem coletados nas mesmas condições, é improvável que o novo valor de seja o mesmo.ppp

Halsey, Curran-Everett, Vowler & Drummond (2015) em um comentário à Nature Methods mostraram que a incerteza em torno de um valor- pode ser bastante grande. Em resposta, Lazzeroni, Lu & Belitskaya-Lévy (2016, mesmo periódico) deram um exemplo de um valor de observado de 0,049, cujo intervalo de confiança varia de 0,00000008 a 0,99.pp

Minha pergunta é: sabemos a distribuição amostral dos valores de ? De acordo com o último, não depende do tamanho da amostra (e presumivelmente do desvio padrão da amostra, pois todos esses são usados ​​para "padronizar" a estatística do teste). Presumivelmente, isso pode depender do procedimento de teste?p

Eu sei que se for verdadeiro, a distribuição dos valores- é uniforme no intervalo de 0 a 1 (mas não me lembro onde aprendi isso). Como é cada vez mais inadequado, a distribuição dos valores de torna-se máxima, inclinando-se sobre as probabilidades de 0% (para testes de cauda esquerda).H0pH0p

É bastante fácil com o bootstrap obter uma representação visual da distribuição dos valores- . No entanto, uma resposta mais satisfatória seria ter uma fórmula (a forma fechada é ainda melhor) para que possamos saber exatamente quais características afetam essa distribuição e, a partir de agora, a largura do intervalo de confiança.p

Você conhece essa fórmula ou se é possível ter uma?

hypothesis-testing confidence-interval p-value bootstrap Denis Cousineau
fonte
2
Acredito que o que você deseja seria um intervalo de previsão para futuros valores de p construídos sob as mesmas condições que o valor de p original ? Talvez você queira dizer intervalo de confiança em vez de intervalo de predição, mas falar de um intervalo de confiança para um valor observado é muito confuso para mim. Se você quis dizer previsão ou intervalo de confiança, tenho certeza de que deseja especificar que o intervalo se refere à média dos valores de p futuros de estudos futuros.
Cliff AB
2
@ Cliff Se você aceitar que há uma distribuição amostral de valores p (o que parece incontroverso), o fato de que os valores p sejam limitados implica que essa distribuição amostral tenha uma expectativa. Sua expectativa é evidentemente uma propriedade da distribuição subjacente no contexto de um modelo específico e estatística de teste específica. Dado isso, parece que essa expectativa poderia razoavelmente ser vista como uma propriedade da própria distribuição, permitindo aplicar todos os conceitos convencionais de estimativa, estimador e intervalo de confiança.
whuber
3
O artigo de Halsey e cols. Mencionado pelo OP e o raciocínio por trás dele são discutidos amplamente neste tópico recente: stats.stackexchange.com/questions/250269 - que eu diria que talvez seja até uma duplicata (@whuber). A conclusão geral desse tópico é que Halsey et al (que emprestam suas reivindicações do trabalho anterior de Cumming) são desleixados e não declaram suas suposições. Eu não gosto muito do papel deles.
Ameba
2
@ whuber Sim, eu concordo. Ainda assim, pode ser útil para o OP ler essas discussões.
Ameba
3
@Amoeba Cuidado: não se constrói um IC para uma estatística; um IC refere-se a um parâmetro. Em situações clássicas (testes Z, testes t, etc.), há uma correspondência individual entre a estatística e o valor p. Na medida em que uma estatística pode estimar algo (geralmente um tamanho de efeito), a fortiori um valor-p deve estar estimando algo também. Mas o que estimar não tem nada a ver com a maneira como se constrói um IC. Um candidato plausível para sua estimativa é o valor p esperado (para um determinado modelo, dada estatística e determinado tamanho de efeito). A principal dificuldade, parece-me,
whuber

Respostas:

3

O problema é que o valor de p não é uma estimativa de um parâmetro, portanto a idéia de um intervalo de confiança não se aplica. Também não faz sentido falar sobre a incerteza em torno do valor de p. O valor p é certo; a conclusão que você tira não é.

David Lane
fonte
5
Parece que você está negando as premissas da pergunta, incluindo o ponto de vista de que o valor p é incerto. Isso será controverso, porque é bem conhecido - e intuitivamente óbvio - que quando um experimento é repetido, um valor p diferente é quase certo de surgir. Você pode encontrar o tópico em stats.stackexchange.com/questions/181611 um pouco relevante.
whuber
Olá @ David, prazer em vê-lo no StackExchange. Embora eu concorde com você que, em geral, p não é um parâmetro, tenho certeza de que poderíamos imaginar um mundo em que as populações sejam caracterizadas por um parâmetro . Neste mundo, todas as amostras teriam um tamanho constante e todo o método de amostragem também será constante. Neste mundo improvável (se você permitir o trocadilho), é um parâmetro , provavelmente a melhor estimativa imparcial de . Portanto, se eu formular minha pergunta em relação a este mundo, podemos ter um intervalo de confiança em torno de um observado ? ππp≡π^πp
Denis Cousineau
Olá @Denis. Isso faz muito sentido. No entanto, acho que a crítica do teste de significância (outros fazem) de que, como os valores de p diferem entre as repetições, eles não são informativos, está incorreta. É claro que réplicas diferentes fornecerão diferentes graus de conclusividade sobre a direção de um efeito (presumo que o efeito quase nunca seja 0). Isso não afeta a conclusividade de um determinado estudo.
David Lane
2
Claro, como @David diz, são informativos. Eles são apenas variáveis. Se pudéssemos obter algum intervalo de confiança e descobrir que todo o intervalo é muito estreito e próximo de zero, isso acrescentaria força adicional a uma conclusão. p
Denis Cousineau
@whuber É claro que o valor de p é incerto antes de você fazer o experimento. No entanto, a incerteza importante é a direção do efeito, não o valor p. O valor p é uma ferramenta para orientar a inferência, não o objeto da inferência. É por isso que não faz sentido dizer que os dados fornecem evidências para um efeito significativo.
David Lane