Interpretação do valor-p no teste de hipóteses

Recentemente, deparei com o artigo "A Insignificância do Teste de Significância de Hipótese Nula", Jeff Gill (1999) . O autor levantou algumas concepções errôneas comuns sobre testes de hipóteses e valores de p, sobre os quais tenho duas perguntas específicas:

1. O valor p é tecnicamente , que, como apontado pelo artigo, geralmente não nos diz nada sobre , a menos que conheçamos as distribuições marginais, o que raramente acontece no teste de hipóteses "cotidiano". Quando obtemos um pequeno valor p e "rejeitamos a hipótese nula", qual é exatamente a afirmação probabilística que estamos fazendo, pois não podemos dizer nada sobre ?$P({\rm observation}|H_{0})$P ( H 0 | o b s e r v a t i o n$P(H_{0}|{\rm observation})$$P(H_{0}|{\rm observation})$
2. A segunda pergunta refere-se a uma declaração específica da página 6 (652) do artigo:

Como o valor-p, ou intervalo de valores-p indicado por estrelas, não é definido a priori, não é a probabilidade a longo prazo de cometer um erro do tipo I, mas normalmente é tratado como tal.

Alguém pode ajudar a explicar o que significa essa declaração?

(Tecnicamente, o valor P é a probabilidade de observar dados pelo menos tão extremos quanto os realmente observados, dada a hipótese nula.)

Q1 Uma decisão de rejeitar a hipótese nula com base em um pequeno valor P normalmente depende da 'disjunção de Fisher': um evento raro ocorreu ou a hipótese nula é falsa. Com efeito, é raridade do evento o que o valor P diz, e não a probabilidade de que o nulo seja falso.

A probabilidade de que o nulo seja falso pode ser obtida a partir dos dados experimentais apenas pelo teorema de Bayes, que exige a especificação da probabilidade 'anterior' da hipótese nula (presumivelmente o que Gill se refere como "distribuições marginais").

Q2 Esta parte da sua pergunta é muito mais difícil do que parece. Há muita confusão em relação aos valores P e taxas de erro, que é, presumivelmente, o que Gill está se referindo com ", mas geralmente é tratado como tal". A combinação dos valores P dos pescadores com as taxas de erro de Neyman-Pearsonian foi denominada uma confusão incoerente e, infelizmente, é muito difundida. Nenhuma resposta curta será completamente adequada aqui, mas posso apontar alguns bons trabalhos (sim, um é meu). Ambos o ajudarão a entender o artigo da Gill.

Hurlbert, S. & Lombardi, C. (2009). Colapso final do referencial teórico de decisão de Neyman-Pearson e ascensão do neo-pescador. Annales Zoologici Fennici, 46 (5), 311-349. (Link para o artigo)

Lew, MJ (2012). Má prática estatística em farmacologia (e outras disciplinas biomédicas básicas): você provavelmente não conhece P. British Journal of Pharmacology, 166 (5), 1559-1567. doi: 10.1111 / j.1476-5381.2012.01931.x (link para artigo)

+1 para @MichaelLew, que forneceu uma boa resposta. Talvez eu ainda possa contribuir, fornecendo uma maneira de pensar sobre o Q2. Considere a seguinte situação:

• A hipótese nula é verdadeira. (Observe que, se a hipótese nula não for verdadeira, nenhum erro do tipo I será possível e não está claro qual o significado do valor- .) $p$
• $\alpha$ foi definido convencionalmente em . $0.05$
• O valor calculado é . $p$$0.01$

$p$$p$$0.02$$p$$0.04\bar{9}$$p$$\approx$$\alpha$

$p$

Eu gostaria de fazer um comentário relacionado à "insignificância do teste de significância de hipótese nula", mas que não responde à pergunta do OP.

$p$$H_0$$H_0\colon\{\theta=0\}$$\theta=\epsilon$$\epsilon$$\epsilon$$0$$\epsilon$$0$