Randomização de amostra não aleatória

9

Fico sempre um pouco surpreso ao ver anúncios psicológicos para participar de estudos experimentais. Com certeza, as pessoas que respondem a esses anúncios não são amostradas aleatoriamente e, portanto, são uma população auto-selecionada.

Como é sabido que a randomização resolve o problema de auto-seleção, fiquei pensando se a randomização de uma amostra não aleatória realmente mudou alguma coisa.

O que você acha ? E também, o que devemos fazer de todos esses experimentos psicológicos com base em uma amostra fortemente auto-selecionada?

giac
fonte

Respostas:

10

A randomização em uma amostra não aleatória ainda pode mostrar que um efeito não é razoavelmente explicado por variação aleatória.

Por exemplo, imagine que temos uma população com dois subgrupos não reconhecidos (com características um pouco diferentes *) de tamanho aproximadamente igual, mas sua amostra não é aleatória, resultando em uma divisão de 80/20. Vamos imaginar 2 grupos de tratamento de tamanho igual. A randomização (pelo menos com tamanhos de amostra decentes) tenderá a se aproximar da divisão 80/20 em cada grupo, de modo que os efeitos do tratamento sejam devidos ao tratamento, em vez da alocação desigual dos grupos heterogêneos aos tratamentos.

* levando a diferentes meios de linha de base, digamos

O problema surge quando você deseja estender a inferência para alguma população-alvo diferente da representada por sua amostra (os auto-seletores); isso requer suposições / um argumento do qual você pode não ter evidências (como supor que as diferenças de tratamento sejam consistentes para todos os subconjuntos da população).

Para uma situação semelhante, imagine testar um medicamento para hipertensão apenas em homens, comparado a um tratamento padrão e placebo. Suponha que os homens sejam randomizados adequadamente para o grupo de tratamento. Um efeito de tratamento será real no sentido em que realmente descreve um efeito em homens. A dificuldade virá ao tentar estender essa inferência para as mulheres .

Portanto, se eles forem conduzidos e randomizados separadamente do recrutamento, um efeito significativo observado será o que parece, mas será aplicado ao que você realmente amostrou, não necessariamente qual era o seu objetivo desejado - atravessar a lacuna entre os dois requer argumento cuidadoso; esse argumento geralmente está ausente.

Quando eu era estudante, era bastante comum que experimentos de psicologia fossem realizados em estudantes de psicologia, que deveriam se voluntariar por um certo número de horas de tais experimentos (esse ainda pode ser o caso, mas não tenho contato regular com psicólogos que fazem mais experimentos). Com a randomização para o tratamento, as inferências podem ter sido válidas (dependendo do que foi feito), mas se aplicariam à população local de estudantes de psicologia auto-selecionados (na medida em que geralmente escolhem quais experimentos se inscrever), que estão muito longe de uma amostra aleatória da população em geral.

Glen_b -Reinstate Monica
fonte
O recrutamento de estudantes de graduação pobres ainda é a prática. Esperar que um estudante de psicologia participe desses estudos é uma terrível violação da integridade da pesquisa, IMO.
StasK
@StasK: Por quê? Eu as achava bastante interessantes e imaginava que participar delas daria uma perspectiva útil aos estudantes de psicologia.
Scortchi - Reinstate Monica
11
Sim, o modelo "intro psych pool" ainda está vivo e bem. @StasK, para torná-lo um pouco menos coercitivo, os alunos são solicitados a participar de apenas alguns experimentos e podem escolher quais. Acho que também temos uma maneira de os alunos optarem por não participar da coisa toda.
Matt Krause
2
Hoje em dia, as pessoas também estão enlouquecendo com o Mechanical Turk da Amazon, o Google Consumer Surveys e algumas outras coisas "na nuvem". Teoricamente, você tem acesso a outros grupos de assuntos, mas também existem muitos problemas (as "condições" são muito mais variáveis, os assuntos podem ser menos motivados e você não tem como saber se eles são quem eles dizem ...) Os estudantes de graduação estão lá, bastante motivados para fazer o experimento e muitas vezes dispostos a trabalhar por um preço baixo.
Matt Krause
@MattKrause: Nos meus dias, você entrava em um sorteio por uma garrafa de vinho - nunca havia falta de voluntários.
Scortchi - Reinstate Monica
6

Como é sabido que a randomização resolve o problema de auto-seleção, fiquei pensando se a randomização de uma amostra não aleatória realmente mudou alguma coisa.

Em suma, não. Pense desta maneira: você tem uma urna com 100 bolas pretas e 100 bolas brancas. Você experimenta 90 bolas pretas e 10 bolas brancas. A amostragem aleatória desta subamostra não permitirá uma inferência imparcial na própria urna.

E também, o que devemos fazer de todos esses experimentos psicológicos com base em uma amostra fortemente auto-selecionada?

As pessoas concordam que a amostragem não aleatória é um problema. Mas quanto de um problema também é uma questão de sua "teoria" do mecanismo em que você está interessado. Se sua hipótese trata de um mecanismo que deve basicamente ser o mesmo para todos os seres humanos (por exemplo, experimentar uma sensação de congelamento quando mergulhado em gelo) água), então a seleção não aleatória não importa muito. Infelizmente, muitas vezes não é nisso que estamos interessados.

abaumann
fonte
Os psicólogos estão fazendo perguntas como "Se estou tentando quebrar uma bola jogando-a na parede versus colocando-a sobre uma mesa e batendo-a com um martelo, qual procedimento tem mais probabilidade de parti-la?" Eles não estão tentando a inferência no número de bolas de cada cor, estão tentando uma inferência no modo de quebra com relação à randomização para esse modo.
StasK
Não necessariamente, Stas. Em alguns casos (por exemplo, o efeito Stroop), o objetivo é generalizar para um mecanismo cognitivo inerente a todos os seres humanos. Mesmo se estivermos comparando tratamentos, a randomização dentro da amostra não permitirá inferência imparcial para a população (que é como o que estamos interessados).
abaumann
1

Existe uma técnica projetada para lidar com os problemas mencionados, conhecidos como Bootstrapping. O bootstrapping é uma abordagem na qual você gera novas amostras sintéticas, retirando do seu conjunto de amostras real com substituição. Em seguida, você faz estatísticas em cada um desses conjuntos de amostras sintéticas e compara as estatísticas entre os conjuntos.

Isso tem uma grande vantagem de permitir que você use muitas ferramentas adicionais em suas estatísticas, porque essas amostras sintéticas vêm de uma distribuição conhecida. Em seguida, você pode determinar quão bons são seus estimadores em lidar com esses casos sintéticos. Se você achar que os estimadores de todas as suas amostras sintéticas convergem muito bem para o mesmo resultado, as suposições do bootstrap permitem inferir que seus estimadores, quando aplicados à amostra completa, fornecem boas estimativas para a população desconhecida. Se, por outro lado, você achar que seus estimadores produzem resultados muito diferentes do conjunto de amostras sintéticas para o conjunto de amostras sintéticas, você deve inferir que seus estimadores, quando aplicados à amostra completa, podem não fornecer uma estimativa muito boa para a população desconhecida.

Essa abordagem de inicialização pode ser usada para validar se a randomização da sua amostra não aleatória é suficiente. Naturalmente, não pode provar isso, mas foi usado como uma ferramenta para aumentar a credibilidade, checando duas vezes sua suposição de que sua amostragem aleatória é suficientemente aleatória.

Cort Ammon
fonte
2
O bootstrapping assume que sua amostra é muito semelhante à população. O bootstrapping é inútil se sua amostra não for representativa da população. Portanto, não tenho certeza de como o bootstrapping pode resolver o problema de amostras não aleatórias.
Hotaka