Randomização de amostra não aleatória

Fico sempre um pouco surpreso ao ver anúncios psicológicos para participar de estudos experimentais. Com certeza, as pessoas que respondem a esses anúncios não são amostradas aleatoriamente e, portanto, são uma população auto-selecionada.

Como é sabido que a randomização resolve o problema de auto-seleção, fiquei pensando se a randomização de uma amostra não aleatória realmente mudou alguma coisa.

O que você acha ? E também, o que devemos fazer de todos esses experimentos psicológicos com base em uma amostra fortemente auto-selecionada?

A randomização em uma amostra não aleatória ainda pode mostrar que um efeito não é razoavelmente explicado por variação aleatória.

Por exemplo, imagine que temos uma população com dois subgrupos não reconhecidos (com características um pouco diferentes *) de tamanho aproximadamente igual, mas sua amostra não é aleatória, resultando em uma divisão de 80/20. Vamos imaginar 2 grupos de tratamento de tamanho igual. A randomização (pelo menos com tamanhos de amostra decentes) tenderá a se aproximar da divisão 80/20 em cada grupo, de modo que os efeitos do tratamento sejam devidos ao tratamento, em vez da alocação desigual dos grupos heterogêneos aos tratamentos.

* levando a diferentes meios de linha de base, digamos

O problema surge quando você deseja estender a inferência para alguma população-alvo diferente da representada por sua amostra (os auto-seletores); isso requer suposições / um argumento do qual você pode não ter evidências (como supor que as diferenças de tratamento sejam consistentes para todos os subconjuntos da população).

Para uma situação semelhante, imagine testar um medicamento para hipertensão apenas em homens, comparado a um tratamento padrão e placebo. Suponha que os homens sejam randomizados adequadamente para o grupo de tratamento. Um efeito de tratamento será real no sentido em que realmente descreve um efeito em homens. A dificuldade virá ao tentar estender essa inferência para as mulheres .

Portanto, se eles forem conduzidos e randomizados separadamente do recrutamento, um efeito significativo observado será o que parece, mas será aplicado ao que você realmente amostrou, não necessariamente qual era o seu objetivo desejado - atravessar a lacuna entre os dois requer argumento cuidadoso; esse argumento geralmente está ausente.

Quando eu era estudante, era bastante comum que experimentos de psicologia fossem realizados em estudantes de psicologia, que deveriam se voluntariar por um certo número de horas de tais experimentos (esse ainda pode ser o caso, mas não tenho contato regular com psicólogos que fazem mais experimentos). Com a randomização para o tratamento, as inferências podem ter sido válidas (dependendo do que foi feito), mas se aplicariam à população local de estudantes de psicologia auto-selecionados (na medida em que geralmente escolhem quais experimentos se inscrever), que estão muito longe de uma amostra aleatória da população em geral.

Como é sabido que a randomização resolve o problema de auto-seleção, fiquei pensando se a randomização de uma amostra não aleatória realmente mudou alguma coisa.

Em suma, não. Pense desta maneira: você tem uma urna com 100 bolas pretas e 100 bolas brancas. Você experimenta 90 bolas pretas e 10 bolas brancas. A amostragem aleatória desta subamostra não permitirá uma inferência imparcial na própria urna.

E também, o que devemos fazer de todos esses experimentos psicológicos com base em uma amostra fortemente auto-selecionada?

As pessoas concordam que a amostragem não aleatória é um problema. Mas quanto de um problema também é uma questão de sua "teoria" do mecanismo em que você está interessado. Se sua hipótese trata de um mecanismo que deve basicamente ser o mesmo para todos os seres humanos (por exemplo, experimentar uma sensação de congelamento quando mergulhado em gelo) água), então a seleção não aleatória não importa muito. Infelizmente, muitas vezes não é nisso que estamos interessados.

Existe uma técnica projetada para lidar com os problemas mencionados, conhecidos como Bootstrapping. O bootstrapping é uma abordagem na qual você gera novas amostras sintéticas, retirando do seu conjunto de amostras real com substituição. Em seguida, você faz estatísticas em cada um desses conjuntos de amostras sintéticas e compara as estatísticas entre os conjuntos.

Isso tem uma grande vantagem de permitir que você use muitas ferramentas adicionais em suas estatísticas, porque essas amostras sintéticas vêm de uma distribuição conhecida. Em seguida, você pode determinar quão bons são seus estimadores em lidar com esses casos sintéticos. Se você achar que os estimadores de todas as suas amostras sintéticas convergem muito bem para o mesmo resultado, as suposições do bootstrap permitem inferir que seus estimadores, quando aplicados à amostra completa, fornecem boas estimativas para a população desconhecida. Se, por outro lado, você achar que seus estimadores produzem resultados muito diferentes do conjunto de amostras sintéticas para o conjunto de amostras sintéticas, você deve inferir que seus estimadores, quando aplicados à amostra completa, podem não fornecer uma estimativa muito boa para a população desconhecida.

Essa abordagem de inicialização pode ser usada para validar se a randomização da sua amostra não aleatória é suficiente. Naturalmente, não pode provar isso, mas foi usado como uma ferramenta para aumentar a credibilidade, checando duas vezes sua suposição de que sua amostragem aleatória é suficientemente aleatória.