Você pode reproduzir esse resultado do teste qui-quadrado?

Em Skeptics.StackExchange , uma resposta cita um estudo sobre hipersensibilidade eletromagnética:

• McCarty, Carrubba, Chesson, Frilot, Gonzalez-Toledo e Marino, Hipersensibilidade eletromagnética: evidências de uma nova síndrome neurológica neurológica International Journal of Neuroscience, 00, 1-7, 2011, DOI: 10.3109 / 00207454.2011.608139.

Eu sou duvidoso sobre algumas das estatísticas usadas e gostaria de ter alguma experiência em verificar duas vezes se elas são usadas adequadamente.

A Figura 5a mostra os resultados de um sujeito tentando detectar quando um gerador de campo eletromagnético foi ligado.

Aqui está uma versão simplificada:

 Actual:   Yes  No
Detected:
  Yes       32  19
  No       261 274

Eles afirmam ter usado um teste do qui-quadrado e encontraram significância (p <0,05, sem declarar o que é p).

As frequências das respostas somáticas e comportamentais na presença e ausência do campo foram avaliadas pelo teste do qui-quadrado (tabelas 2 × 2) ou pela extensão de Freeman – Halton do teste de probabilidade exata de Fisher (tabelas 2 × 3; Freeman & Halton, 1951).

Eu vejo vários problemas.

• Eles excluíram alguns dos dados - consulte a Tabela 5b - de onde deixaram o dispositivo por longos períodos. Não vejo a justificativa para separar esses dados.

• Eles parecem estar afirmando que o resultado é estatisticamente significativo quando o dispositivo real estava ligado, mas não quando não estava. (Posso estar interpretando mal isso; não está claro.) Esse não é um resultado que o teste do qui-quadrado possa dar, é?

• Quando tentei reproduzir este teste com uma calculadora on-line , achei estatisticamente insignificante.

Esta é minha verdadeira pergunta: estou certo ao dizer isso ?: Um teste qui-quadrado de duas caudas usando o Teste Exato de Fisher é o caminho certo para analisar esses dados E NÃO é estatisticamente significativo.

Parece-me que há três coisas erradas com a conclusão.

Primeiro, como o @caracal disse: Eles estão relatando "significância" usando um teste unilateral, sem dizer que estão fazendo isso. A maioria das pessoas, penso, recomenda o uso de testes bicaudais quase sempre. Certamente não é bom usar um teste de cauda sem dizer isso.

Segundo, o efeito é pequeno. Quando havia um sinal, o sujeito (havia apenas um) detectava-o 11% das vezes (32/293). Quando não havia sinal, ela detectava um sinal 6,5% das vezes. Essa diferença parece bem pequena. E o sujeito não foi capaz de detectar o sinal 89% das vezes!

Terceiro, como o @oddthinking apontou, houve alguns relatórios de dados seletivos que não foram explicados ou justificados adequadamente (não li o artigo com atenção, por isso estou simplesmente repetindo o que estava no post original).

Um teste exato de Fisher na tabela fornecida fornece, por este código

actual <- c(rep("Y", 32), rep("N", 19), rep("Y", 261), rep("N", 274))
det <- c(rep("Y", 51), rep("N", 535))
table(det,actual) 
fisher.test(det,actual)

ap = 0,08