As correlações mais publicadas nas ciências sociais não são confiáveis ​​e o que deve ser feito sobre isso? [fechadas]

9

Apesar dos esforços importantes, mas cheios de "pegadinha", de indivíduos para revelar as práticas de periódicos predatórios , uma ameaça maior e mais fundamental aparece nas sombras da pesquisa em ciências sociais ( embora certamente haja vários problemas que os pesquisadores precisam resolver ). Para ir direto ao ponto, de acordo com uma visão, podemos não ser capazes de confiar nos coeficientes de correlação derivados de amostras menores que 250 .

Seria difícil encontrar um teste mais confiável para inferir a presença, direção e força da associação entre as medidas nas ciências sociais do que o coeficiente de correlação confiável. No entanto, não seria difícil encontrar relatórios revisados ​​por pares fazendo fortes afirmações sobre a relação entre dois constructos com base em coeficientes de correlação calculados a partir de dados com menos de 250 casos.

Dada a atual crise de replicação enfrentada pelas ciências sociais (veja o segundo link acima), como devemos ver este relatório sobre a estabilização dos coeficientes de correlação apenas em grandes amostras (pelo menos por alguns padrões de campo das ciências sociais)? É outra brecha no muro da pesquisa em ciências sociais revisada por pares ou é uma questão relativamente trivial que foi exagerada em sua apresentação?

Como provavelmente não existe uma única resposta correta para essa pergunta, espero gerar um tópico em que recursos sobre essa questão possam ser compartilhados, ponderados e debatidos (educadamente e respeitosamente, é claro).

correlation methodology publication-bias Matt Barstead
fonte
Reconheço que esta é uma pergunta baseada em opinião e contorna as diretrizes gerais do site. O fato é que uma grande variedade de pessoas acessa este site para obter informações estatísticas, incluindo uma melhor compreensão das armadilhas inerentes às técnicas que elas procuram empregar. Minha esperança é que, ao fazer essa ampla pergunta, eu possa ajudar com esse objetivo reconhecidamente vago. Aprender a calcular um erro padrão é uma coisa. Aprender o que significa manejá-lo ao tomar uma decisão supostamente baseada em evidências é outra.
22617 Matt Barstead
O que é ainda pior é como esses casos "obrigatórios 250" são selecionados. Vejo cada vez mais que alguém envia um pedido para concluir uma pesquisa necessária para um artigo ou uma tese, em um site de mídia social. Complete com o tópico da pesquisa. Inconscientemente completamente como as pessoas se auto-selecionam. Adeus a amostras aleatórias, como as pessoas no grupo social de alguém não são aleatórias, geralmente pertencem a grupos ideológicos / políticos / econômicos semelhantes e também se auto-selecionam com base no interesse que estão no tópico. Sugestão para "90% são a favor de X" , apenas porque aqueles que são apáticos não se voluntariam.
vsz 01/08/19

Respostas:

7

Adicionando intervalos de confiança para os cerca de verdadeiros coeficientes de correlação seria um pequeno (e muito simples) primeiro passo na direção certa. Sua largura imediatamente dá uma impressão sobre a precisão da correlação de sua amostra e, ao mesmo tempo, permite ao escritor e também ao público testar hipóteses úteis . O que sempre me intrigava ao conversar com estatísticos das ciências sociais era que um coeficiente de correlação absoluto da amostra acima de (ou algum outro limite) era considerado significativo. Ao mesmo tempo, eles estavam testando a hipótese de trabalhoL = 0,3 ρ ≠ 0 | p | > L ρ L - LρL=0.3ρ≠0. Isso é inconseqüente. Por que um coeficiente de correlação populacional muito pequeno seria subitamente considerado significativo? A hipótese de trabalho "correta" seria . Ter um intervalo de confiança para na mão, hipóteses como este pode facilmente ser testado: basta verificar que o intervalo situa-se inteiramente acima (ou abaixo ) e você saber se você pode reivindicar uma associação estatística "substancial", mesmo no população.|ρ|>LρL−L

É claro que apenas adicionar um intervalo de confiança e usar testes significativos não resolverá muitos problemas (como projetos de amostragem ruins, consideração omitida de fatores de confusão etc.). Mas é basicamente de graça. Eu acho que até o SPSS é capaz de calculá-los!

Michael M
fonte
11
De fato, se o SPSS puder fazer isso ... Em uma observação mais séria, acho que a idéia de colocar ênfase nos ICs faz muito sentido. Ajudaria também com os esforços meta-analíticos. Além disso, parece-me que relatar ICs em vez de valores p é uma aproximação freqüentista de uma abordagem bayesiana. Sempre pensei que os modelos bayesianos tendem a "parecer" mais honestos, pois se concentram na modelagem de uma distribuição de estimativas, em vez de encontrar a estimativa maximamente provável para um parâmetro populacional derivado de uma única amostra.
26817 Matt Barstead
4

Como observa Michael M , a confiabilidade das correlações relatadas - ou de qualquer outra estimativa - pode ser avaliada usando intervalos de confiança. Até certo ponto, é isso. Os ICs serão muito estreitos se os modelos forem selecionados após a coleta de dados, o que eu acredito que aconteça cerca de 95% das vezes nas ciências sociais (o que honestamente afirmo que é um palpite completo).

O remédio é duplo:

  • Estamos falando de uma " crise de replicabilidade ". Portanto, replicações com falha nos informam que o efeito original provavelmente era apenas ruído aleatório. Precisamos fazer (e financiar, redigir, enviar e aceitar) mais réplicas. Os estudos de replicação estão lentamente ganhando respeitabilidade, e isso é uma coisa boa.

  • O segundo remédio é, obviamente, a meta-análise . Se tivermos muitas correlações relatadas de dados semelhantes, mesmo que cada uma delas tenha um baixo , podemos agrupar as informações e aprender alguma coisa. Idealmente, seremos capazes de detectar o viés de publicação no processo.n

Stephan Kolassa
fonte
@ Stephen, pergunta: o que significa "replicação", deve-se usar os mesmos dados ou dados diferentes para replicar o estudo original? Existe uma diferença entre replicação e repetibilidade?
forecaster
Para o seu primeiro ponto, acho que os últimos anos viram um movimento real na frente da replicabilidade. Um próximo capítulo oferece alguns conselhos para pesquisadores de emoções que, acredito, se traduzem em vários subcampos na ciência do comportamento.
22617 Matt Barstead
@ forecaster: uma replicação deve ser feita com novos dados coletados independentemente, caso contrário você não aprenderá nada de novo . "Repetibilidade" não é um termo que me deparei. Obviamente, sempre há a questão de saber se a publicação original é suficientemente detalhada para que outra pessoa possa realmente repetir a análise.
27417 Stephan Stephanassass