Acomodando visualizações entrincheiradas de valores-p

Às vezes, nos relatórios, incluí um aviso sobre os valores-p e outras estatísticas inferenciais que forneci. Digo que, como a amostra não foi aleatória, essas estatísticas não se aplicariam estritamente. Minha redação específica geralmente é dada em uma nota de rodapé:

"Embora, estritamente falando, as estatísticas inferenciais sejam aplicáveis ​​apenas no contexto de amostragem aleatória, seguimos a convenção em relatar níveis de significância e / ou intervalos de confiança como parâmetros convenientes, mesmo para amostras não aleatórias. Veja a inferência estatística de Michael Oakes : ciências comportamentais (NY: Wiley, 1986).

Em algumas ocasiões - uma vez para um artigo revisado por pares, uma ou duas vezes em um ambiente não acadêmico - o editor ou revisor se opôs a este aviso, chamando-o de confuso, e achou que os resultados inferenciais deveriam simplesmente permanecer escritos. (e receba o manto de autoridade). Alguém mais encontrou esse problema e encontrou uma boa solução? Por um lado, a compreensão das pessoas sobre os valores-p é geralmente sombria, mesmo no contexto de amostragem aleatória, portanto, talvez não importe muito o que dizemos. Por outro lado, contribuir ainda mais para mal-entendidos parece fazer parte do problema. Devo acrescentar que lida frequentemente com estudos de pesquisa, nos quais a atribuição aleatória não se aplica e as simulações de Monte Carlo frequentemente falham em abordar a questão da representatividade.

De fato, existe um argumento para não incluir o aviso. Francamente, eu consideraria um breve tratado sobre a natureza dos valores-p em um artigo de jornal e, por um momento, teria que fazer uma pausa e tentar descobrir se você tinha feito algo particularmente .. .esotérico ... para justificar a dedução desse espaço a um ponto de definição.

Basicamente, como revisor, eu consideraria desnecessário porque o leitor já deve saber o que é e faz um valor-p. Eu posso até contestar isso, porque fazer essa anotação na verdade não impede nenhum dos muitos crimes de análise e interpretação que acompanham os valores-p, apenas coloca uma capa de "confie em mim, eu sei o que estou fazendo". Também é um pouco estranho - "Vou tomar uma posição ousada contra os valores-p, mas não tão ousados ​​que não os denunciem".

Quando considero "visões entrincheiradas sobre valores-p", estou muito menos preocupado com algo como o que você postou acima e muito mais com a insistência dos revisores na significância estatística para serem publicados ou no foco do artigo (coloque uma estrela por uma descoberta e de repente é um grande negócio) ou combinando significância estatística com a significância de uma descoberta.

O uso de estatística inferencial pode ser justificado não apenas com base em um modelo populacional, mas também com base em um modelo de randomização. O último não faz suposições sobre a forma como a amostra foi obtida. De fato, foi Fisher quem sugeriu que o modelo de randomização deveria ser a base da inferência estatística (em oposição a Neyman e Pearson). Veja, por exemplo:

Ernst, MD (2004). Métodos de permutação: Uma base para inferência exata. Statistical Science, 19, 676-685. [link (acesso aberto)]

Ludbrook, J. & Dudley, H. (1998). Por que os testes de permutação são superiores aos testes te F na pesquisa biomédica. American Statistician, 52, 127-132. [link (se você tiver acesso ao JSTOR)]

De alguma forma, duvido que os editores ou revisores em questão estejam usando isso como motivo para chamar seu aviso de "confuso".

$p$de fato, é necessário relatar os valores, apesar de sua invulgaridade não negligenciável em um estudo problemático (uma classe na qual caem muitos artigos publicados), alguém pode subestimá-los implicitamente. Você pode focar sua narrativa - talvez até exclusivamente - nos tamanhos dos efeitos. Se o seu estudo é suficientemente representativo para ser útil informativo (isso não deve exigir uma amostragem perfeitamente aleatória, apenas cautela na generalidade das interpretações), o tamanho do seu efeito deve ter implicações mais amplas do que apenas indicar a existência e as direções dos relacionamentos ou diferenças. Focar a discussão em tamanhos de efeito pode facilitar uma compreensão mais profunda do quanto os relacionamentos ou diferenças são importantes no sentido prático, embora isso ainda precise ser considerado no contexto do objeto de estudo (por exemplo,$r = .03$$p$$p$$p$

Outra opção potencialmente complementar seria expandir sua nota de rodapé. Suas descrições do problema, como analisadas pelos revisores, e a resposta atualmente aceita nesta página sugerem que não são fornecidas informações suficientes para explicar sua motivação para incluir a nota de rodapé, nem o suficiente para motivar o leitor a seguir sua citação à referência que você usa para explicar de maneira tão concisa. Uma única frase adicional, mesmo uma breve citação de sua referência, pode ajudar bastante a explicar o valor de sua nota de rodapé e motivar os leitores a ler mais profundamente. Evidentemente, sua nota de rodapé mais cedo motiva uma reação simples, negativa e desdenhosa em relação à sua tentativa discreta de interromper a complacência deles em relação a suposições impróprias. Os leitores podem ser um pouco menos preguiçosos intelectualmente se você lhes der um ou dois dos principais pontos sobre os problemas que eles provavelmente ignoram rotineiramente. Além disso, para muitos problemas específicos com$p$

$p$

• Qual é o significado dos valores de p nos valores estatísticos?
• Entendendo o valor-p

$p$$p$$p$

Referências

<sup>- Goodman, SN (1992). Um comentário sobre replicação, valores- P e evidência. Statistics in Medicine, 11 (7), 875-879.
- Goodman, SN (2001). De P -Valores e Bayes: Uma proposta modesta. Epidemiology, 12 (3), 295-297. Recuperado em http://swfsc.noaa.gov/uploadedFiles/Divisions/PRD/Programs/ETP_Cetacean_Assessment/Of_P_Values_and_Bayes__A_Modest_Proposal.6.pdf .
- Goodman, S. (2008). Uma dúzia suja: equívocos de doze valores de P. Seminários em Hematologia, 45 (3), 135–140. Recuperado em http://xa.yimg.com/kq/groups/18751725/636586767/name/twelve+P+value+misconceptions.pdf .
- Gorroochurn, P., Hodge, SE, Heiman, GA, Durner, M. e Greenberg, DA (2007). Não replicação de estudos de associação: “pseudo-falhas” para replicar? Genetics in Medicine, 9 (6), 325-331. Recuperado em http://www.nature.com/gim/journal/v9/n6/full/gim200755a.html .
- Hurlbert, SH, e Lombardi, CM (2009). Colapso final do referencial teórico da decisão Neyman – Pearson e ascensão do neoFisherian. Annales Zoologici Fennici, 46 (5), 311-349. Recuperado em http://xa.yimg.com/kq/groups/1542294/508917937/name/HurlbertLombardi2009AZF.pdf .
- Lew, MJ (2013). Para P ou não para P: Sobre a natureza evidencial dos valores de P e seu lugar na inferência científica. arXiv: 1311.0081 [stat.ME]. Recuperado dehttp://arxiv.org/abs/1311.0081 .
- Nuzzo, R. (2014, 12 de fevereiro). Método científico: erros estatísticos. Nature News, 506 (7487). Recuperado em http://www.nature.com/news/scientific-method-statistical-errors-1.14700 .
- Rosenthal, R., Rosnow, RL, & Rubin, DB (2000). Contrastes e tamanhos de efeito na pesquisa comportamental: Uma abordagem correlacional. Cambridge University Press.
- Senn, S. (2001). Duas saudações pelos valores P? Jornal de Epidemiologia e Bioestatística, 6 (2), 193–204. Recuperado em http://www.phil.vt.edu/dmayo/conference_2010/Senn%20Two%20Cheers%20Paper.pdf .
- Wagenmakers, EJ (2007). Uma solução prática para os problemas difundidos devalores de p . Psychonomic Bulletin & Review, 14 (5), 779-804. Recuperado em http://www.brainlife.org/reprint/2007/Wagenmakers_EJ071000.pdf .</sup>