Inferência estatística quando a amostra “é” a população

Imagine que você precise reportar o número de candidatos que fazem anualmente um determinado teste. Parece bastante difícil inferir a porcentagem de sucesso observada, por exemplo, em uma população mais ampla devido à especificidade da população-alvo. Portanto, você pode considerar que esses dados representam toda a população.

Os resultados dos testes indicam que as proporções de homens e mulheres são diferentes realmente corretas? Um teste que compara as proporções observadas e teóricas parece ser correto, pois você considera uma população inteira (e não uma amostra)?

Pode haver opiniões variadas sobre isso, mas eu trataria os dados da população como uma amostra e assumiria uma população hipotética, e depois faria inferências da maneira usual. Uma maneira de pensar sobre isso é que existe um processo subjacente de geração de dados responsável pelos dados coletados, a distribuição da "população".

No seu caso particular, isso pode fazer ainda mais sentido, pois você terá coortes no futuro. Então sua população é realmente coortes que fazem o teste mesmo no futuro. Dessa forma, você pode contabilizar variações baseadas no tempo se tiver dados por mais de um ano ou tentar considerar fatores latentes por meio do seu modelo de erro. Em resumo, você pode desenvolver modelos mais ricos com maior poder explicativo.

Na verdade, se você é realmente positivo, tem toda a população, não há necessidade de entrar nas estatísticas. Então você sabe exatamente qual é a diferença e não há mais motivo para testá-la. Um erro clássico é usar significância estatística como significância "relevante". Se você amostrou a população, a diferença é qual é.

Por outro lado, se você reformular sua hipótese, os candidatos poderão ser vistos como uma amostra de possíveis candidatos, o que permitiria o teste estatístico. Nesse caso, você testaria em geral se homens e mulheres diferem no teste em questão.

Como dito, você pode usar testes de vários anos e adicionar tempo como um fator aleatório. Mas se o seu interesse realmente estiver nas diferenças entre esses candidatos nesse teste específico, você não poderá usar a generalização e o teste não faz sentido.

Tradicionalmente, a inferência estatística é ensinada no contexto de amostras de probabilidade e na natureza do erro de amostragem. Este modelo é a base para o teste de significância. No entanto, existem outras maneiras de modelar desvios sistemáticos do acaso e verifica-se que nossos testes paramétricos (baseados em amostragem) tendem a ser boas aproximações dessas alternativas.

Testes paramétricos de hipóteses se baseiam na teoria de amostragem para produzir estimativas de erro provável. Se uma amostra de um determinado tamanho é retirada de uma população, o conhecimento da natureza sistemática da amostragem torna significativos os intervalos de teste e confiança. Com uma população, a teoria da amostragem simplesmente não é relevante e os testes não são significativos no sentido tradicional. Inferência é inútil, não há nada a inferir, existe apenas a coisa ... o próprio parâmetro.

Alguns contornam isso apelando às superpopulações que o censo atual representa. Acho esses apelos não convincentes - testes paramétricos têm como premissa a amostragem probabilística e suas características. Uma população em um determinado momento pode ser uma amostra de uma população maior ao longo do tempo e do local. No entanto, não vejo como legitimamente alguém argumentar que se trata de uma amostra aleatória (ou mais geralmente qualquer forma de probabilidade). Sem uma amostra probabilística, a teoria da amostragem e a lógica tradicional de teste simplesmente não se aplicam. Você também pode testar com base em uma amostra de conveniência.

Claramente, para aceitar testes ao usar uma população, precisamos dispensar a base desses testes nos procedimentos de amostragem. Uma maneira de fazer isso é reconhecer a estreita conexão entre nossos testes teóricos da amostra - como t, Z e F - e os procedimentos de randomização. Os testes de randomização são baseados na amostra em questão. Se eu coletar dados sobre a renda de homens e mulheres, o modelo de probabilidade e a base para nossas estimativas de erro são alocações aleatórias repetidas dos valores reais dos dados. Eu pude comparar as diferenças observadas entre os grupos com uma distribuição baseada nessa randomização. (A propósito, fazemos isso o tempo todo em experimentos em que a amostragem aleatória de um modelo populacional raramente é apropriada).

Agora, verifica-se que os testes teóricos da amostra geralmente são boas aproximações dos testes de randomização. Então, em última análise, acho que os testes das populações são úteis e significativos nessa estrutura e podem ajudar a distinguir a variação sistemática da variação casual - assim como nos testes baseados em amostras. A lógica usada para chegar lá é um pouco diferente, mas não afeta muito o significado prático e o uso de testes. Obviamente, seria melhor usar apenas testes de randomização e permutação diretamente, uma vez que estão facilmente disponíveis com todo o nosso poder computacional moderno.

Suponha que os resultados indiquem que os candidatos diferem de acordo com o gênero. Por exemplo, a proporção de pessoas que concluíram os testes é a seguinte: 40% feminino e 60% masculino. Para sugerir o óbvio, 40% é diferente de 60%. Agora, o importante é decidir: 1) sua população de interesse; 2) como suas observações se relacionam com a população de interesse. Aqui estão alguns detalhes sobre esses dois problemas:

1. Se sua população de interesse for apenas os candidatos que você observou (por exemplo, os 100 candidatos que se inscreveram em uma universidade em 2016), não será necessário relatar testes de significância estatística. Isso ocorre porque sua população de interesse foi completamente amostrada ... tudo o que importa é os 100 candidatos nos quais você tem dados completos. Ou seja, 60% é, ponto final, diferente de 40%. O tipo de pergunta que essa resposta é: havia diferenças de gênero na população de 100 pessoas que se aplicavam ao programa? Esta é uma pergunta descritiva e a resposta é sim.

2. No entanto, muitas questões importantes são sobre o que acontecerá em diferentes configurações. Ou seja, muitos pesquisadores desejam apresentar tendências sobre o passado que nos ajudem a prever (e depois planejar) o futuro. Um exemplo de pergunta a esse respeito seria: Qual a probabilidade de futuros testes de candidatos serem diferentes em termos de gênero? A população de interesse é então mais ampla do que no cenário nº 1 acima. Nesse ponto, uma pergunta importante a ser feita é: é provável que seus dados observados representem tendências futuras? Esta é uma pergunta inferencial e, com base nas informações fornecidas pelo pôster original, a resposta é: não sabemos.

Em suma, quais estatísticas você reportar dependem do tipo de pergunta que você deseja responder.

Pensar no projeto básico de pesquisa pode ser mais útil (tente aqui: http://www.socialresearchmethods.net/kb/design.php ). Pensar em superpopulações pode ser útil se você quiser informações mais avançadas (aqui está um artigo que pode ajudar: http://projecteuclid.org/euclid.ss/1023798999#ui-tabs-1 ).

Se você considera o que quer que esteja medindo como um processo aleatório, sim os testes estatísticos são relevantes. Por exemplo, jogue uma moeda 10 vezes para ver se é justa. Você ganha 6 caras e 4 caudas - o que você conclui?