Pode-se excluir dados da pesquisa porque não são significativos?

9

Encontrei essa frase ao ler um artigo no sciencemag.org .

No final, foram incluídas respostas de apenas 7600 pesquisadores em 12 países, porque os dados restantes não foram considerados estatisticamente significativos.

Essa é uma maneira adequada de fazer pesquisa? Deixar de lado os resultados por não serem considerados estatisticamente significativos?

acima
fonte
Um leitor observa que um relatório está disponível em eurodoc.net/index.php?s=file_download&id=122 e nos refere especificamente às páginas 104-5 do relatório completo (mas não sei onde ele está disponível).
whuber
11
Esse é o link para o relatório completo.
Aaron saiu de Stack Overflow
@ Aaron Obrigado. Por alguma razão, minha primeira tentativa produziu apenas um resumo de 6 páginas, mas agora o link funciona bem.
whuber

Respostas:

6

No relatório citado no comentário da whuber, ele diz na página 104 [página 114 do pdf]:

A pesquisa conseguiu ativar a participação de aproximadamente 8.900 candidatos a doutorado de mais de 30 países ...

Em seguida, estendendo as páginas 104-105, ele diz:

Enquanto conduzia os procedimentos de limpeza de dados, a equipe de especialistas em pesquisa da Eurodoc decidiu executar uma análise de teste de potência. Com base no pressuposto de questionários completos, que resultarão em uma distribuição multi-normal, foi utilizado um teste de potência para estimativa do intervalo de confiança. Isso foi feito para testar a precisão dos dados. Foi decidido aceitar no máximo um nível de erro de 6% em um intervalo de confiança de 95%. Uma perda de 16% do tamanho da amostra resultou em uma amostra de 12 países participantes, com 7.600 participantes.

Portanto, não está claro exatamente por que a perda de 16% na amostra, mas a suposição de respostas incompletas provavelmente está correta. (E você pode ver por que o repórter estava confuso.)

Karl
fonte
5
O parágrafo das páginas 104-105 fala por si só na documentação de bobagens.
quer
13

Essa frase não faz sentido e está claramente errada.

Os dados não podem ser estatisticamente significativos ou insignificantes. Somente relacionamentos entre dados, o produto de testes estatísticos, podem ser mencionados nesses termos.

Se a pergunta for: podemos descartar dados de nossas análises porque a inclusão desses dados significa que não podemos rejeitar a hipótese nula? A resposta é - obviamente, eu espero! - Não . A mensagem que você citou é uma reportagem, não um artigo científico. Se tivesse sido revisado, nunca teria entrado.

Provavelmente, os dados não foram incluídos porque existem razões substanciais para não os incluir. Provavelmente, como outros sugeriram, os dados excluídos foram incompletos ou coletados usando métodos diferentes ou incomparáveis.

Benjamin Mako Hill
fonte
Espero que sim... ;) .
FairMiles
7

Não.

Suspeito que o repórter quis dizer que os outros indivíduos foram deixados de fora porque as pesquisas eram incompletas ou internamente inconsistentes.

Harvey Motulsky
fonte
11
isso também é o que eu suspeitava, mas esta frase é claramente enganosa ..
30/09/11
2

Não, mas os repórteres podem usar o jargão técnico completamente sem sentido.

John
fonte