Artigo sobre uso indevido do método estatístico no NYTimes

Refiro-me a este artigo: http://www.nytimes.com/2011/01/11/science/11esp.html

Considere o seguinte experimento. Suponha que houvesse motivos para acreditar que uma moeda fosse levemente pesada em relação às cabeças. Em um teste, a moeda aparece 527 vezes em 1.000.

Esta é uma evidência significativa de que a moeda está pesada?

A análise clássica diz que sim. Com uma moeda justa, as chances de obter 527 ou mais caras em 1.000 flips são menores que 1 em 20, ou 5%, o ponto de corte convencional. Em outras palavras: o experimento encontra evidências de uma moeda ponderada "com 95% de confiança".

No entanto, muitos estatísticos não o compram. Uma em cada 20 é a probabilidade de obter qualquer número de cabeças acima de 526 em 1.000 arremessos. Ou seja, é a soma da probabilidade de virar 527, a probabilidade de virar 528, 529 e assim por diante.

Mas o experimento não encontrou todos os números nesse intervalo; encontrou apenas um - 527. Portanto, é mais preciso, segundo esses especialistas, calcular a probabilidade de obter esse número - 527 - se a moeda for pesada, e compará-lo com a probabilidade de obter o mesmo número se a moeda for justo.

Os estatísticos podem mostrar que essa proporção não pode ser maior que cerca de 4 para 1, de acordo com Paul Speckman, um estatístico, que, com Jeff Rouder, um psicólogo, forneceu o exemplo.

Primeira pergunta: isso é novo para mim. Alguém tem uma referência onde eu possa encontrar o cálculo exato e / ou VOCÊ pode me ajudar, fornecendo o cálculo exato você mesmo e / ou você pode me indicar algum material em que eu possa encontrar exemplos semelhantes?

Bayes inventou uma maneira de atualizar a probabilidade de uma hipótese à medida que novas evidências surgissem.

Portanto, ao avaliar a força de uma determinada descoberta, a análise bayesiana incorpora probabilidades conhecidas, se disponíveis, de fora do estudo.

Pode ser chamado de efeito "Sim, certo". Se um estudo constatar que os kumquats reduzem o risco de doenças cardíacas em 90%, que um tratamento cura a dependência de álcool em uma semana, que pais sensíveis têm duas vezes mais chances de dar à luz uma menina do que um menino, a resposta bayesiana corresponde à de o cético nativo: Sim, certo. Os resultados do estudo são comparados com o que é observável no mundo.

Em pelo menos uma área da medicina - testes de rastreamento diagnóstico - os pesquisadores já usam probabilidades conhecidas para avaliar novas descobertas. Por exemplo, um novo teste de detecção de mentiras pode ser 90% exato, sinalizando corretamente 9 entre 10 mentirosos. Mas se é dado a uma população de 100 pessoas que já se sabe incluir 10 mentirosos, o teste é muito menos impressionante.

Ele identifica corretamente 9 dos 10 mentirosos e perde um; mas identifica incorretamente 9 dos outros 90 como mentirosos. A divisão dos chamados positivos verdadeiros (9) pelo número total de pessoas sinalizadas pelo teste (18) fornece uma taxa de precisão de 50%. Os "falsos positivos" e "falsos negativos" dependem das taxas conhecidas na população.

Segunda pergunta: Como você julga exatamente se uma nova descoberta é "real" ou não com esse método? E: isso não é tão arbitrário quanto a barreira de 5% por causa do uso de alguma probabilidade prévia predefinida?

Eu responderei a primeira pergunta em detalhes.

Com uma moeda justa, as chances de obter 527 ou mais caras em 1.000 flips são menores que 1 em 20, ou 5%, o ponto de corte convencional.

$n=1000$$p=1/2$

$$P(B(1000,1/2)>=527)$$

Isso pode ser calculado com qualquer pacote de software estatístico. R nos dá

> pbinom(526,1000,1/2,lower.tail=FALSE)
   0.04684365

Portanto, a probabilidade de obtermos mais de 526 cabeças com moedas justas é de aproximadamente 0,047, o que é quase um corte de 5% mencionado no artigo.

A seguinte declaração

Em outras palavras: o experimento encontra evidências de uma moeda ponderada "com 95% de confiança".

é discutível. Eu relutaria em dizer isso, já que 95% da confiança pode ser interpretada de várias maneiras.

Em seguida, voltamos para

Mas o experimento não encontrou todos os números nesse intervalo; encontrou apenas um - 527. Portanto, é mais preciso, segundo esses especialistas, calcular a probabilidade de obter esse número - 527 - se a moeda for pesada, e compará-lo com a probabilidade de obter o mesmo número se a moeda for justo.

$B(1000,1/2)=527$$B(1000,p)=527$

$$\frac{P(B(1000,p)=527)}{P(B(1000,1/2)=527)}=\frac{p^{527}(1-p)^{473}}{(1/2)^{1000}}.$$

$p$

Os estatísticos podem mostrar que essa proporção não pode ser maior que cerca de 4 para 1, de acordo com Paul Speckman, um estatístico, que, com Jeff Rouder, um psicólogo, forneceu o exemplo.

$p$

$$p=\frac{527}{1000}.$$

Podemos verificar se é realmente o máximo usando o segundo teste de derivada, por exemplo. Substituindo-o pela fórmula que obtemos

$$\frac{(527/1000)^{527}(473/1000)^{473}}{(1/2)^{1000}}\approx 4.3$$

Portanto, a proporção é de 4,3 para 1, o que concorda com o artigo.