Livros / leituras sobre o que fazer quando você não pode criar um experimento ideal?

Meu treinamento estatístico está enraizado nas estatísticas matemáticas, e as aulas desses métodos no meu MS são um choque no momento; atualmente é difícil para mim entender alguns desses métodos "aplicados", pois não tenho experiência no setor.

Um dos tópicos sobre os quais falamos nas aulas de métodos é a ideia do design experimental.

Digamos, por exemplo, que eu queira realizar um experimento sobre a eficácia de um programa educacional que afirma aumentar as notas dos alunos do ensino fundamental e médio.

Nas aulas de métodos, eles ensinaram o seguinte a buscar esse problema: verifique se você tem uma boa pergunta de pesquisa, um bom método de coleta de dados, um experimento aleatório, grupos de tratamento homogêneos (ou seja, um tratado com este programa, outro talvez não) idealmente de tamanho igual e, em seguida, execute um teste (ou algum tipo de teste de hipótese não paramétrico), e está tudo bem e elegante, certo?$t$

Tenho pouca fé de que é assim que funciona na realidade.

Aprendi que, com certeza, talvez você precise fazer algumas amostragens de conveniência. Mas, além disso, não tenho idéia de como implementar o design experimental além do que aprendi em um livro didático.

Existem livros, leituras, etc. que explorem essas questões na prática (e, idealmente, não encobrem a matemática - não preciso de provas detalhadas de tudo, mas não quero que me digam que tudo está " óbvio ", por exemplo)?

Existem dois campos em que os experimentos aleatórios são quase sempre impossíveis: são ciências sociais e economia. Nesses casos, você só pode fazer "quase experimentos". Tente pesquisar com palavras-chave quase experimentos, estudos observacionais e ciências sociais ; você receberá alguns bons livros de texto. Posso recomendar dois livros excelentes sobre esse assunto: o segundo livro de Shadish e Cook é um clássico:

1. Contrafactuais e inferência causal: métodos e princípios para pesquisa social por Morgan e Winship
2. Projetos experimentais e quase-experimentais para inferência causal generalizada por William R. Shadish e Thomas D. Cook

Um artigo clássico que usa uma técnica chamada "propensity score matching" em cenário não experimental para inferência causal por Dehejia e Wahba também é altamente recomendado.

Recomendações adicionais:

1. Projeto de Estudos Observacionais por Paul R. Rosenbaum.
2. Inferência Causal para Estatísticas, Ciências Sociais e Biomédicas: Uma Introdução por Imbens e Rubin.

Se você está olhando para quase experimentos de séries temporais, os livros acima têm alguns capítulos dedicados a eles, mas um livro dedicado é de Gene v. Glass Design e análise de experimentos de séries temporais e eu verificaria seu artigo Séries temporais interrompidas .

Curiosidades: Gene V Glass cunhou o termo " Meta Analysis ".

É aqui que os designs quase experimentais podem ser úteis. Em muitas situações na prática, os projetos experimentais não são práticos porque, embora você tenha um tratamento, não é possível executar tarefas aleatórias em grupos ou talvez você tenha apenas um grupo.

No seu exemplo educacional, você pode não ter controle sobre quem recebe o tratamento porque pretende realizar a intervenção para todas as crianças de uma escola. No entanto, talvez você consiga comparar as pontuações deles com as pontuações dos anos anteriores, ou randomizar as salas de aula para que algumas recebam a intervenção antes de outras, ou comparar várias escolas, incluindo as que não receberam a intervenção.

Pode fazer sentido fazer um desenho de séries temporais interrompidas em que você tenha apenas um grupo, mas faça medições constantemente e administre o tratamento no meio da duração do estudo. Dessa forma, você pode ver se a inclinação da variável dependente ao longo do tempo mudou logo após o tratamento, em relação à inclinação geral em todo o estudo. O número de medições pode ser tão baixo quanto 3, mas quanto mais, melhor.

Então, minha sugestão é ler sobre projetos de estudo quase-experimentais.

O tratamento mais completo, geral e preciso da causalidade é Judea Pearl 2009, "Causality", 2ª ed., Cambridge University Press.

Especialmente, deixa claro que a causalidade não é realmente uma questão estatística - mesmo dados ilimitados não a resolvem. Introduz uma linguagem precisa para expressar o conhecimento qualitativo e teórico necessário para a inferência causal quando algo sobre os dados é subótimo. Você verá que a falha na randomização é apenas um problema entre muitos. Também inclui todas as outras estruturas matemáticas, por exemplo, as de Imbens, Rubin e Rosenbaum. Não posso exagerar o quão acessível, elegante e poderosa é sua abordagem.

Eu recomendo fortemente. No entanto, você deve lê-lo de maneira não linear (os capítulos 5 e 11 são mais acessíveis e, em seguida, você pode retroceder nos capítulos 1, 3 e 7 para entender a teoria geral).

Quando você entende o básico, pode facilmente observar avanços mais recentes, por exemplo, quando é possível "transportar" descobertas causais de um contexto para outro, o que não é necessariamente possível mesmo com a randomização (Pearl, Judea e Elias Bareinboim 2014, "Validade externa: do cálculo à transportabilidade entre populações." Statistical Science).

Talvez seja isso que você está procurando ...

Estatísticas para Experimentadores

Projeto e Análise de Experimentos

Projeto e Análise de Experimentos com R (não relacionado ao título anterior)

Melhoria de processos usando dados (gratuito on-line ou em PDF, o capítulo 5 aborda o DoE)