Por que é ruim ensinar aos alunos que os valores-p são a probabilidade de que os resultados sejam devidos ao acaso?

Alguém pode, por favor, oferecer uma boa explicação sucinta por que não é uma boa idéia ensinar aos alunos que um valor-p é o prob (suas descobertas são devidas ao acaso [aleatório]). Meu entendimento é que um valor p é o prob (obter dados mais extremos | hipótese nula é verdadeiro).

Meu interesse real é qual é o mal de dizer que é o primeiro (além do fato de que simplesmente não é assim).

Tenho uma interpretação diferente do significado da afirmação errada do que @Karl. Eu acho que é uma declaração sobre os dados, e não sobre o nulo. Entendo que está pedindo a probabilidade de obter sua estimativa devido ao acaso. Não sei o que isso significa - não é uma afirmação bem especificada.

Mas entendo o que provavelmente significa a probabilidade de obter minha estimativa por acaso, uma vez que a estimativa verdadeira é igual a um valor específico. Por exemplo, eu posso entender o que significa obter uma diferença muito grande nas alturas médias entre homens e mulheres, uma vez que suas alturas médias são realmente as mesmas. Isso está bem especificado. E é isso que o valor p dá. O que falta na declaração errada é a condição de que o nulo seja verdadeiro.

Agora, podemos objetar que essa afirmação não é perfeita (a chance de obter um valor exato para um estimador é 0, por exemplo). Mas é muito melhor do que a maneira como a maioria interpretaria um valor-p.

O ponto principal que digo repetidamente quando ensino o teste de hipóteses é "O primeiro passo é supor que a hipótese nula é verdadeira. Tudo é calculado com base nessa suposição". Se as pessoas se lembram disso, isso é muito bom.

Eu já vi essa interpretação muito (talvez mais frequentemente do que a correta). Eu interpreto "suas descobertas se devem ao acaso [aleatório]" como " é verdadeiro" e, na verdade, o que eles estão dizendo é Pr ( H 0 ) [que na verdade deve ser Pr ( H 0 | dados ) ; digamos, "dado o que vimos (os dados), qual é a probabilidade de que apenas o acaso esteja operando?"] Essa pode ser uma afirmação significativa (se você estiver disposto a atribuir priores e fazer Bayes), mas não é p -value . $\text{H}_0$$\Pr(\text{H}_0)$$\Pr(\text{H}_0 | \text{data})$

pode ser bem diferente do valor-p e, portanto, interpretar um valor-p dessa maneira pode ser seriamente enganador.$\Pr(\text{H}_0 | \text{data})$

A ilustração mais simples: digamos, o anterior, é bastante pequeno, mas temos poucos dados; portanto, o valor de p é amplo (digamos, 0,3), mas o posterior, Pr ( H 0 | dados ) , ainda seria bem pequeno. [Mas talvez este exemplo não seja tão interessante.]$\Pr(H_0)$$\Pr(\text{H}_0|\text{data})$

Acrescentarei uma resposta tardia da perspectiva do (ex) aluno: IMHO, o dano não pode ser separado do erro.

Esse tipo de "aproximações / atalhos didáticos" errados pode criar muita confusão para os alunos que percebem que não podem entender logicamente a afirmação, mas assumindo que o que lhes é ensinado é correto, eles não percebem que não são capazes de entendê-la. porque não está certo.

Isso não afeta os alunos que apenas memorizam as regras apresentadas a eles. Mas exige que os alunos que aprendem pela compreensão sejam bons o suficiente para

• chegarem à solução correta sozinhos e
• ser bom o suficiente para que eles possam ter certeza de que estão certos
• e concluem que são ensinadas besteiras (por alguma razão supostamente didática).

Não estou dizendo que não existem atalhos didáticos válidos. Mas IMHO, quando esse atalho é utilizado, isso deve ser mencionado (por exemplo, "para facilitar o argumento, assumimos / aproximamos isso ...").
Nesse caso em particular, porém, acho que é enganoso demais para ser útil.

Referindo-se diretamente à pergunta: onde está o dano?

Na minha opinião, a resposta a esta pergunta está no inverso da afirmação: "Um valor-p é a probabilidade de que os resultados sejam devidos ao acaso". Se alguém acredita nisso, provavelmente também acredita no seguinte: "[1- (valor-p)] é a probabilidade de que as descobertas NÃO sejam devidas ao acaso".

O dano está na segunda afirmação, porque, dada a maneira como o cérebro da maioria das pessoas funciona, essa afirmação superestima grosseiramente a confiança que devemos ter nos valores específicos de um parâmetro estimado.

Aqui está um exemplo simples que eu uso:

Suponha que nossa hipótese nula seja a de que estamos jogando uma moeda de duas cabeças (então prob (cara) = 1). Agora, lançamos a moeda uma vez e obtemos cara, o valor de p é 1, então isso significa que temos 100% de chance de ter uma moeda de 2 cabeças?

O mais complicado é que, se tivéssemos jogado uma coroa, o valor de p teria sido 0 e a probabilidade de ter uma moeda de 2 cabeças teria sido 0, então eles correspondem nesse caso, mas não no acima. O valor p de 1 acima significa apenas que o que observamos é perfeitamente consistente com a hipótese de uma moeda de 2 cabeças, mas não prova que a moeda seja de 2 cabeças.

Além disso, se estamos fazendo estatísticas freqüentistas, a hipótese nula é Verdadeira ou Falsa (simplesmente não sabemos qual) e fazer declarações de probabilidade (freqüentistas) sobre a hipótese nula não tem sentido. Se você quiser falar sobre a probabilidade da hipótese, faça estatísticas bayesianas apropriadas, use a definição bayesiana de probabilidade, comece com uma prévia e calcule a probabilidade posterior de que a hipótese seja verdadeira. Só não confunda um valor p com um posterior bayesiano.

OK, outra opinião ligeiramente diferente sobre isso:

Um primeiro problema básico é a frase "devido ao acaso [aleatório]". A idéia de 'chance' não especificada chega naturalmente aos alunos, mas é perigosa por pensar claramente sobre incerteza e catastrófica para fazer estatísticas sensatas. Com algo parecido com uma sequência de lançamentos de moedas, é fácil assumir que 'chance' é descrito pela configuração Binomial com uma probabilidade de 0,5. Há uma certa naturalidade nisso, com certeza, mas, do ponto de vista estatístico, não é mais natural do que assumir 0,6 ou outra coisa. E para outros exemplos menos "óbvios", por exemplo, envolvendo parâmetros reais, é totalmente inútil pensar em como seria o "acaso".

Com relação à pergunta, a idéia principal é entender que tipo de 'chance' é descrito por H0, ou seja, qual é a probabilidade real / nomes de DGP H0. Uma vez implementado esse conceito, os alunos finalmente param de falar sobre as coisas que acontecem 'por acaso' e começam a perguntar o que H0 realmente é. (Eles também descobrem que as coisas podem ser consistentes com uma variedade bastante ampla de Hs, para que eles avancem em intervalos de confiança, por meio de testes invertidos).

O segundo problema é que, se você estiver no caminho para a definição de valores-p de Fisher, deve (imho) sempre explicá-la primeiro em termos de consistência dos dados com H0, porque o objetivo de p é ver isso, não interpretar a área da cauda como algum tipo de atividade 'casual' (ou, francamente, para interpretá-la). Obviamente, isso é uma questão de ênfase retórica, mas parece ajudar.

Em resumo, o mal é que essa maneira de descrever as coisas não será generalizada para qualquer modelo não trivial no qual eles possam tentar pensar posteriormente. Na pior das hipóteses, pode apenas acrescentar à sensação de mistério que o estudo das estatísticas já gera nos tipos de pessoas que essas descrições arquivadas são destinadas.

Se eu desmontar, "o valor p é a probabilidade de um efeito ser causado pelo acaso", parece estar implicando que o efeito seja causado pelo acaso. Mas todo efeito é parcialmente causado pelo acaso. Em uma lição de estatística em que se explica a necessidade de tentar ver através da variabilidade aleatória, essa é uma afirmação bastante mágica e abrangente. Ele impregna valores-p com poderes que eles não têm.

Se você definir a chance em um caso específico como a hipótese nula, estará declarando que o valor p gera a probabilidade de que o efeito observado seja causado pela hipótese nula. Isso parece muito próximo da afirmação correta, mas alegar que uma condição de probabilidade é a causa dessa probabilidade é novamente exagerada. A afirmação correta, de que o valor p é a probabilidade do efeito, dada a hipótese nula, é verdadeira, não atribui causa ao efeito nulo. As causas são diversas, incluindo o efeito verdadeiro, a variabilidade em torno do efeito e o acaso. O valor p não mede a probabilidade de nenhum deles.