O conceito de 'estatisticamente comprovado'

10

Quando as notícias falam sobre coisas que foram 'provadas estatisticamente', elas estão usando um conceito bem definido de estatística corretamente, usando errado ou apenas usando um oxímoro?

Imagino que uma "prova estatística" não seja realmente algo realizado para provar uma hipótese, nem uma prova matemática, mas mais um "teste estatístico".

Quora Feans
fonte
10
Não há provas nas estatísticas, exceto que as provas nas estatísticas matemáticas devem seguir os padrões matemáticos. No entanto, essas provas são irrelevantes para sua pergunta. Em termos de seu exemplo, ninguém, exceto um idiota ou humorista, afirma que cada família americana tem 2,4 filhos. No máximo, a alegação é que, em média, as famílias têm 2,4 filhos; isso pode ser verificado por pesquisas de amostra ou outro censo, mas como o número pode variar ou mudar sistematicamente, um resultado diferente não significa que o primeiro resultado estava incorreto; nem o mesmo resultado significa que o primeiro resultado estava correto.
Nick Cox

Respostas:

16

O que as pessoas estão falando é do palpite de alguém e varia de acordo com o noticiário. Talvez o mais comum seja que eles estejam dando um resumo de uma frase da pesquisa que requer várias páginas.

No entanto, seu último parágrafo está errado. Estatisticamente, cada família NÃO tem 2,4 filhos. A média é de 2,4 filhos. Isso é inteiramente possível. Se você pegar uma amostra aleatória de famílias americanas (difícil de fazer, mas possível), obterá uma estimativa da média. No entanto, se você fez um censo de famílias, então, se o censo realmente recebeu todas as famílias (não o tem) ou, se as pessoas que receberam são representativas das pessoas que não receberam, em relação ao número de filhos, então você teria provado o fato.

No entanto, não apenas o censo sente falta de pessoas, as pessoas de quem sente falta são diferentes em muitos aspectos das pessoas que recebe. O Census Bureau, portanto, tenta descobrir como eles são diferentes; assim, novamente, fornecendo uma estimativa do número de filhos por família.

Mas há coisas que você pode provar; se você quiser saber, digamos, o número médio de anos que cada professor do seu departamento ensinou, você poderá obter dados precisos e obter uma média exata.

Seu penúltimo parágrafo também é problemático, pois são feitos testes estatísticos precisamente para provar hipóteses; mais precisamente, eles são feitos (na estrutura freqüentista, de qualquer maneira) para rejeitar uma hipótese nula em um determinado nível de significância.

Peter Flom - Restabelece Monica
fonte
Corrigida minha pergunta.
Quora Feans
5

Eu acho que - como em tantas outras coisas - é uma combinação de um mal-entendido cultural generalizado e tentativas jornalísticas de abreviar a palavra, que às vezes se engana.

" Os telefones celulares causam câncer! " Vende mais anúncios do que algumas explicações sobre a investigação de um possível link.

É claro que conclusões baseadas em inferência estatística não são prova de nenhum tipo de sentido. É dependente de suposições e, mesmo assim, as conclusões (na melhor das hipóteses) são probabilísticas (como obtemos, digamos, com inferência bayesiana) e, com a inferência freqüencialista, você deve adicionar o erro usual de má interpretação dos valores-p como a probabilidade de que o valor null é verdadeiro. Isso sem considerar questões como publicação ou viés de relatório

Você vê erros semelhantes tanto nos relatórios científicos em geral quanto é frustrante .

Eu não gosto da frase 'estatisticamente comprovada', pois acho que ela dá a impressão errada. Embora as estatísticas bem-sucedidas sejam uma ferramenta poderosa, as coisas que as estatísticas realmente nos dizem podem ser surpreendentemente sutis e a discussão apropriada sobre o significado do que é aprendido e as qualificações associadas às conclusões muitas vezes não são adequadas ao hype e ao vigor de um título ou título. alguns parágrafos apressados ​​se espremeram entre as fofocas de celebridades de sempre.

De fato, mesmo nas revistas acadêmicas em que esse tipo de qualificação parece essencial, elas geralmente são deixadas de lado e, em vez disso, aparece algum pronunciamento de fórmula (diferente da área de pesquisa para a área de pesquisa) que é considerado como 'unção' do resultado.

Eu acho que há espaço para explicar cuidadosamente o raciocínio decorrente dos resultados da inferência (se estimativa de ponto e intervalo, teste de hipóteses, cálculos teóricos da decisão ou mesmo construção exploratória de algumas comparações visuais) até as conclusões a que eles levam. Esse raciocínio é onde está o verdadeiro cerne da questão (incluindo onde as lacunas no raciocínio seriam expostas, se fossem explícitas) e raramente vemos isso.

Além disso, podemos continuar emitindo uma nota de cautela

Glen_b -Reinstate Monica
fonte
(+1) Você pode revisar todos e cada um dos meus futuros documentos?
Matt Krause
2
Você pode não gostar. Mais de uma vez, os relatórios do meu árbitro terminaram significativamente mais longos que o artigo original, conforme passo em detalhes o que está errado e como corrigi-lo (na maioria das vezes, apenas para ter a resposta é recortar seções inteiras de papel em vez de tentar consertar as partes mais problemáticas, mas geralmente mais interessantes, infelizmente). Uma das minhas alunas teve um relatório igualmente detalhado sobre o trabalho dela de um de seus árbitros; foi realmente muito valioso e levou a um produto final muito melhor.
Glen_b -Reinstala Monica
-2

O conhecimento empírico é sempre probabilístico - nunca claramente verdadeiro ou falso, mas sempre em algum ponto intermediário. A "prova" estatística é uma questão de coletar dados suficientes para reduzir a probabilidade de que uma hipótese esteja errada para menos do que algum limite aceito. E o limiar para "verdade" ou "correção" difere de uma disciplina acadêmica para outra. Os sociólogos estão satisfeitos com uma probabilidade de 95% de estar certo e, às vezes, se contentam com menos; os físicos quânticos exigem 99,9999999% ou melhor.

Kevin Krumwiede
fonte
2
Bem-vindo ao site, @Kevin Krumwiede. Sua última frase é ambígua. Parece que você está cometendo um erro comum que confunde um valor-p de <0,05 (por exemplo) com uma probabilidade de 95% de que a hipótese nula seja falsa.
gung - Restabelece Monica