O SurveyMonkey ignora o fato de você obter uma amostra não aleatória?

O SurveyMonkey possui etapas e um gráfico para você descobrir qual o tamanho da amostra necessário para uma determinada margem de erro ou intervalo de confiança, com base no tamanho da sua população.

Tamanho da amostra SurveyMonkey

Este gráfico simplesmente ignora o fato de que você não obterá uma amostra aleatória, uma vez que você apenas recebe as pessoas que se preocupam em responder à pesquisa?

Estou sendo avisado enquanto digito que a pergunta parece subjetiva, então talvez eu não esteja fazendo a pergunta corretamente. Não é realmente sobre o SurveyMonkey, mas é uma pergunta mais geral - você pode realmente calcular intervalos de confiança a partir de dados de resposta voluntária usando algumas técnicas avançadas que eu não conheço?

Nas pesquisas de opinião pública ou nas pesquisas nacionais, obviamente eles devem lidar com esse problema. Minha formação não abrangeu as técnicas de amostragem de pesquisa em profundidade, mas presumo que isso envolve a coleta de dados demográficos e a utilização para saber o grau de representatividade de uma amostra.

Mas além disso, para uma simples pesquisa on-line, eles estão apenas assumindo que as pessoas que se preocupam em responder são uma amostra aleatória da população?

A resposta curta é sim: o Survey Monkey ignora exatamente como você obteve sua amostra. O Survey Monkey não é inteligente o suficiente para supor que o que você coletou não é uma amostra de conveniência, mas praticamente todas as pesquisas do Survey Monkey são uma amostra de conveniência. Isso cria uma discrepância enorme exatamente no que você está estimando, que nenhuma quantidade de amostragem pura pode / irá eliminar. Por um lado, você pode definir uma população (e associações) que obteria de uma SRS. Por outro lado, você pode definir uma população definida por sua amostragem não aleatória, as associações que você podeestimativa (e as regras de energia são válidas para esses valores). Cabe a você, como pesquisador, discutir a discrepância e deixar o leitor decidir exatamente o quão válida a amostra não aleatória pode ser para aproximar uma tendência real.

Como ponto, há usos inconsistentes do termo viés. Na teoria das probabilidades, o viés de um estimador é definido por . No entanto, um estimador pode ser tendencioso, mas consistente, de modo que o viés "desapareça" em amostras grandes, como o viés das estimativas de máxima verossimilhança do desvio padrão de RVs normalmente distribuídos. ou seja, . Os estimadores que não possuem viés de fuga (por exemplo, ) são chamados de inconsistentes$\mbox{Bias}_n = \theta - \hat{\theta}_n$$\hat{\theta} \rightarrow_p \theta$$\hat{\theta} \not\to_p \theta$na teoria da probabilidade. Especialistas em design de estudos (como epidemiologistas) adquiriram o mau hábito de chamar a inconsistência de "viés". Nesse caso, é o viés de seleção ou o voluntário. Certamente é uma forma de viés, mas a inconsistência implica que nenhuma quantidade de amostragem irá corrigir o problema.

Para estimar associações no nível populacional a partir de dados de amostra de conveniência, você teria que identificar corretamente o mecanismo de probabilidade de amostragem e usar a ponderação inversa de probabilidade em todas as suas estimativas. Em situações muito raras, isso faz sentido. Identificar esse mecanismo é quase impossível na prática. Um momento em que isso pode ser feito é em uma coorte de indivíduos com informações anteriores que são abordadas para preencher uma pesquisa. A probabilidade de não resposta pode ser estimada em função das informações anteriores, por exemplo, idade, sexo, SES, ... A ponderação oferece uma chance de extrapolar quais resultados teriam sido na população que não respondeu. O censo é um bom exemplo do envolvimento da ponderação inversa de probabilidade para essas análises.