Forense estatístico: Benford e além

Que métodos amplos existem para detectar fraudes, anomalias, falsificações etc. em trabalhos científicos produzidos por terceiros? (Fui motivado a perguntar isso pelo recente caso de Marc Hauser .) Geralmente, por fraude eleitoral e contábil, é citada alguma variante da Lei de Benford . Não tenho certeza de como isso poderia ser aplicado, por exemplo, ao caso Marc Hauser, porque a Lei de Benford exige que os números sejam aproximadamente uniformes em log.

Como exemplo concreto, suponha que um artigo cite os valores de p para um grande número de testes estatísticos. Poderíamos transformá-los para uniformizar os logs e aplicar a Lei de Benford? Parece que haveria todos os tipos de problemas com essa abordagem ( por exemplo, algumas das hipóteses nulas podem ser legitimamente falsas, o código estatístico pode fornecer valores de p que são apenas aproximadamente corretos, os testes podem fornecer apenas valores de p que são uniformes sob o nulo assintoticamente, etc.)

Ótima pergunta!

No contexto científico, existem vários tipos de relatórios problemáticos e comportamento problemático:

• Fraude : eu definiria fraude como uma intenção deliberada por parte do autor ou analista de deturpar os resultados e onde a deturpação é de natureza suficientemente grave. O exemplo principal é a fabricação completa de dados brutos ou estatísticas de resumo.
• Erro : os analistas de dados podem cometer erros em muitas fases da análise de dados, desde a entrada de dados, manipulação de dados, análises, relatórios, interpretação.
• Comportamento inadequado : existem muitas formas de comportamento inadequado. Em geral, pode ser resumido por uma orientação que busca confirmar uma posição específica em vez de procurar a verdade.

Exemplos comuns de comportamento inapropriado incluem:

• Examinando uma série de possíveis variáveis ​​dependentes e relatando apenas a que é estatisticamente significativa
• Sem mencionar violações importantes de suposições
• Execução de manipulações de dados e procedimentos de remoção de outlier sem mencioná-lo, principalmente onde esses procedimentos são inadequados e escolhidos apenas para melhorar os resultados
• Apresentar um modelo como confirmatório, que é realmente exploratório
• Omitir resultados importantes que vão contra o argumento desejado
• Escolhendo um teste estatístico apenas com base no fato de os resultados parecerem melhores
• Executando uma série de cinco ou dez estudos com pouca energia, em que apenas um é estatisticamente significativo (talvez em p = 0,04) e, em seguida, relatando o estudo sem mencionar os outros estudos

Em geral, eu hipotetizaria que a incompetência está relacionada a todas as três formas de comportamento problemático. Um pesquisador que não entende como fazer uma boa ciência, mas quer ser bem-sucedido, terá um incentivo maior para deturpar seus resultados e é menos provável que respeite os princípios da análise ética de dados.

As distinções acima têm implicações para a detecção de comportamento problemático. Por exemplo, se você conseguir discernir que um conjunto de resultados relatados está errado, ainda será necessário verificar se os resultados surgiram de fraude, erro ou comportamento inadequado. Além disso, eu assumiria que várias formas de comportamento inapropriado são muito mais comuns do que fraudes.

No que diz respeito à detecção de comportamento problemático, acho que é em grande parte uma habilidade resultante da experiência de trabalhar com dados , trabalhar com um tópico e trabalhar com pesquisadores. Todas essas experiências reforçam suas expectativas sobre a aparência dos dados. Assim, grandes desvios das expectativas iniciam o processo de busca de uma explicação. A experiência com os pesquisadores fornece uma noção dos tipos de comportamento inapropriado que são mais ou menos comuns. Em combinação, isso leva à geração de hipóteses. Por exemplo, se eu leio um artigo de uma revista e fico surpreso com os resultados, o estudo é insuficiente, e a natureza da redação sugere que o autor está decidido a fazer um argumento, gero a hipótese de que os resultados talvez não devam ser confiável.

Outros recursos

• Robert P. Abelson As estatísticas como argumento de princípio têm um capítulo intitulado "Suspeitando a Fishiness"

Na verdade, a lei de Benford é um método incrivelmente poderoso. Isso ocorre porque a distribuição de frequência do primeiro dígito de Benford é aplicável a todos os tipos de conjunto de dados que ocorrem no mundo real ou natural.

Você está certo ao usar a Lei de Benford apenas em determinadas circunstâncias. Você diz que os dados precisam ter uma distribuição de log uniforme. Tecnicamente, isso é absolutamente correto. Mas, você pode descrever o requisito de uma maneira muito mais simples e branda. Tudo que você precisa é que o intervalo do conjunto de dados ultrapasse pelo menos uma ordem de magnitude. Digamos de 1 a 9 ou 10 a 99 ou 100 a 999. Se cruzar duas ordens de magnitude, você estará no negócio. E, a lei de Benford deve ser bastante útil.

A beleza da lei de Benford é que ela ajuda a restringir sua investigação muito rapidamente nas agulhas na pilha de dados do feno. Você procura as anomalias nas quais a frequência do primeiro dígito é muito diferente das frequências de Benford. Depois de perceber que existem dois muitos 6s, você usa a Lei de Benford para se concentrar apenas nos 6s; mas agora você leva para os dois primeiros dígitos (60, 61, 62, 63, etc ...). Agora, talvez você descubra que há muito mais 63s do que o sugerido por Benford (você faria isso calculando a frequência de Benford: log (1 + 1/63) que fornece um valor próximo de 0%). Então, você usa Benford para os três primeiros dígitos. Quando você descobre que existem 632s em excesso (ou seja o que for, calculando a frequência de Benford: log (1 + 1/632)) do que o esperado, você provavelmente já está em algo. Nem todas as anomalias são fraudes. Mas,

Se o conjunto de dados manipulado por Marc Hauser for natural e sem restrições, com um intervalo relacionado que seja amplo o suficiente, a Lei de Benford seria uma boa ferramenta de diagnóstico. Tenho certeza de que existem outras boas ferramentas de diagnóstico que também detectam padrões improváveis ​​e, combinando-as com a Lei de Benford, você provavelmente poderia ter investigado o caso Marc Hauser de maneira eficaz (levando em consideração os requisitos de dados mencionados na Lei de Benford).

Explico a Lei de Benford um pouco mais nesta breve apresentação que você pode ver aqui: http://www.slideshare.net/gaetanlion/benfords-law-4669483