Baixo valor de em pesquisa em ciências sociais ou educação?

Respostas:

11

Um artigo de Abelson (1985) intitulado "Um paradoxo da explicação da variância: quando um pouco é demais" , publicado no Psychological Bulletin , aborda (parte de) esta questão. Em particular, Abelson mostra que a proporção de variação compartilhada entre uma variável dicotômica e uma variável contínua pode ser surpreendentemente pequena, mesmo quando a intuição ditaria um muito grande (ele usa o exemplo de se um taco de beisebol bateria na bola ou não , em função da média de rebatidas do batedor - produzindo um enorme ).R2R2<.001

Abelson continua explicando que mesmo um tão pequeno pode ser significativo, desde que o efeito sob investigação possa se fazer sentir ao longo do tempo.R2

PS: Usei este artigo há alguns meses para responder a um revisor que não se impressionou com nossos baixos , e atingiu a marca - nosso artigo está agora no ar :)R2


  • Referência: Abelson, RP (1985). Um paradoxo da explicação da variação: quando um pouco é muito. Boletim Psicológico , 97 , 129-133.
Patrick Coulombe
fonte
1
Obrigado pela informação. Achei o artigo interessante. Embora ele mostre um exemplo contrário ao valor de , estou tentando encontrar um artigo / revisão que discuta a tendência / convenção em pesquisas envolvendo comportamento / desempenho humano. -R2
Amin
6

Um argumento que acena com os braços e que, no entanto, tem muita força, funciona para trás. O que implicaria uma previsão perfeita? Por exemplo, isso implicaria que podemos prever o desempenho dos alunos exatamente sabendo sua idade, sexo, raça, classe etc. Mas sabemos que isso é absurdo; contradiz muito mais do que sabemos nas ciências sociais, para não dizer a vida cotidiana. Além disso, embora essa seja uma questão diferente: muitos de nós não gostariam de viver em um mundo assim.

Nick Cox
fonte
1
Não tenho certeza do que você quer dizer. Primeiro, provavelmente não há exemplos nos quais você tenha exatamente 1 para um ao estudar o comportamento humano, é apenas uma estrutura. Segundo, como qualquer resultado estatístico, é baseado em grandes números de resultados. Por fim, para citar seus exemplos, as ciências sociais (infelizmente?) Costumam nos dizer que algumas variáveis ​​(como diploma e implicação dos pais, etnia, horas de trabalho) são, de fato, bons indicadores das realizações de um aluno. R2
Anthony Martin
2
Prefiro duvidar de "muito bom" na prática. A menos que seja essencialmente tautológico, nas ciências sociais parece muito mais provável que seja que . R20,11
Nick Cox
1
Eu não tenho casos precisos em educação, mas, por exemplo, equações de Mincer (salários previsões) com apenas duas variáveis (educação e experiência) já pode render superior a 0,5R2
Anthony Martin
2
Isso é consistente com o meu argumento. Na ciência física, é frequentemente um sinal de incompetência ou falha na escolha de um problema que vale a pena. O fato de você considerar algo como como "muito bom" decorre, eu suspeito, de você saber que sempre existem muitas incógnitas. R2<0,90,5
Nick Cox
1
Não vejo nenhuma teoria em sua discussão. Mais importante, acho que não estamos nos contradizendo. Você está impressionado que podemos obter moderados algumas vezes nas ciências sociais; Não estou surpreso e não afirmei o contrário. R2
Nick Cox
4

Acho sua pergunta um pouco vaga, provavelmente depende do que você deseja fazer nas ciências sociais ou na pesquisa educacional. Porém, de maneira mais geral, como todo indicador, é bom para verificar o que foi projetado para verificar, ruim para o resto.R2

Precisamente, pode ser definido como , para que ele explique quanto dos dados você pode explicar pelo seu modelo, como dados de poço se encaixam em um modelo estatístico.R2R2=SSESST=1-SSRSST

  • O domínio em que é mais importante é quando você deseja fazer uma previsão : se você deseja prever seu resultado, é necessário que seu modelo explique quase tudo o que está acontecendo se os dados.

  • Pelo contrário, se você está interessado - geralmente é o caso - na influência de uma variável / parâmetro , você não se importa com o ; tudo o que se importa é que seus efeitos sejam, por exemplo, significativos, com o hipótese necessária verificada.R2

Não tenho uma referência precisa em mente, mas qualquer livro introdutório de econometria terá um capítulo ou seção (por exemplo, econometria principalmente inofensiva ou Econometria introdutória de Wooldridge : uma abordagem moderna ).

Anthony Martin
fonte
2

O argumento de Abelson poderia ser resumido: o que é improvável se torna provável em caso de repetições suficientes.

A evolução baseia-se neste princípio: É improvável que uma mutação seja uma vantagem para o mutante. Mas, no caso de haver muitas mutações, é provável que algumas sejam vantajosas. Por meio de seleção e progênie, o improvável posteriormente se torna provável na população.

Nos dois casos, existe um mecanismo de seleção que torna o sucesso decisivo, e o fracasso não é um desastre (pelo menos para as espécies).

O livro de Jesper Juul sobre jogos, "The Art of Failure", acrescenta outra dimensão às considerações de Abelson. O ponto de Juul é que não é fascinante jogar jogos onde você nunca perde. Na verdade, deve haver um equilíbrio entre as habilidades e a frequência de fracassos / sucessos, antes que se torne ativo jogar e melhorar seu desempenho.

O jogo e o treinamento garantem que a falha não seja um desastre e, em seguida, o mecanismo de seleção é eficaz e os baixos valores de R2 não são problema, podem até ser preferíveis. Inversamente, quando a falha é um desastre, altos valores de R2 são muito importantes.

De maneira mais geral, os valores de R2 são importantes quando o evento é um divisor de águas. Além disso, os eventos de mudança de jogo geralmente não podem ser reduzidos a uma binaridade, falha / sucesso: os possíveis resultados são múltiplos e têm múltiplos efeitos. Nesse caso, o resultado tem relevância histórica / biográfica.

Caso os eventos sejam históricos e nunca tenham ocorrido antes, é basicamente impossível estimar o R2, embora algumas descrições analíticas possam reduzir a aleatoriedade porque a história, em certa medida, pode se assemelhar. Em resumo, você pode experimentar a combinação de pequenos eventos R2 e de mudança de jogo. ... Bem, isso é vida, às vezes ;-)

user285684
fonte