O valor-p é a probabilidade de ver o que você viu ou algo mais extremo se a hipótese nula for verdadeira. O valor p não é a probabilidade de que a hipótese nula seja verdadeira. Então, sim, interpretar um valor-p como a probabilidade de que a hipótese nula seja verdadeira é semelhante à falácia do promotor. Se você deseja essa probabilidade, deve presumir que a hipótese nula é verdadeira antes da coleta de dados. Em seguida, você pode usar os dados coletados para influenciar ou atualizar essa probabilidade inicial.
Se optar por "rejeitar a hipótese nula" ou não é semelhante à falácia do promotor de justiça entra na semântica. Se "rejeitar o nulo" significa acreditar que o nulo é falso em um sentido probabilístico, então sim, isso está comprometendo a falácia do promotor. Se "rejeitar o nulo" significa agir como se o nulo fosse falso, isso é diferente. Esse é um processo de decisão cujo desempenho depende das situações em que é usado.
Um ótimo exemplo é a resposta da comunidade científica ao primeiro estudo, mostrando evidências de uma nova partícula com p <0,0000003. Todos os cientistas aceitam a existência da partícula? Não. Alguns podem, mas alguns permanecerão céticos. As diferenças de crenças estão ligadas a diferentes probabilidades anteriores no nulo, ou seja, quão céticos eles eram quanto à existência da nova partícula antes do experimento. Os resultados de um estudo só podem mudar suas probabilidades de crença até agora.
Mas o que a comunidade científica faz? Eles fazem um segundo experimento. Eles agem como se a partícula existisse, ou mais precisamente, agem como se a existência da partícula justificasse um estudo mais aprofundado. Até os cientistas céticos apoiarão a atuação dessa maneira. Se o segundo experimento também tiver um p <0,0000003, alguns dos cientistas céticos agora acreditarão que a partícula existe. Por quê? Mesmo que o primeiro experimento não os tenha convencido, ele ainda mudou suas probabilidades de crença. O segundo experimento irá mudá-los ainda mais.
O segundo experimento pode levar a um terceiro, e assim por diante. A distribuição de crenças subjacente de cada cientista muda a cada experimento. Após um determinado experimento, eles podem não concordar com a existência da partícula, mas ainda concordam que vale a pena continuar os experimentos. Eventualmente, a série de experimentos terá mudado todas, exceto as distribuições de crenças dos cientistas mais céticos, para acreditar que a partícula existe.
Nota pessoal: não estou tentando vender ninguém nesse paradigma estatístico; apenas para responder à pergunta inicial. Vale a pena explorar outros paradigmas estatísticos. A análise bayesiana facilita quantificar explicitamente sua distribuição de crenças antes e depois do experimento. A inferência de probabilidade facilita a expressão da evidência do experimento de uma maneira que aqueles com diferentes crenças anteriores ainda possam concordar. Os valores p de segunda geração concentram-se em pré-especificar o significado clínico e fornecer aos clínicos um valor que se comporte da maneira que eles desejam que o valor p tradicional, ou seja, ainda indicando quando a evidência é contra o nulo, mas também distinguindo entre quando a evidência é para o nulo versus quando a incerteza permanece alta. E há muitas outras abordagens interessantes.
