Devo excluir efeitos aleatórios de um modelo se eles não forem estatisticamente significativos?

Devo incluir efeitos aleatórios em um modelo, mesmo que não sejam estatisticamente significativos? Eu tenho um desenho experimental de medidas repetidas, no qual cada indivíduo experimenta três tratamentos diferentes em ordem aleatória. Eu gostaria de controlar quaisquer efeitos individuais e de ordem, mas nenhum deles parece ser estatisticamente significativo em meus modelos. Isso permite excluí-los ou devo incluí-los?

Minha recomendação é incluir os efeitos aleatórios no modelo, mesmo que eles não sejam estatisticamente significativos, com o argumento de que a análise estatística representa mais fielmente o desenho real do estudo.

Isso permite que você escreva algo assim na seção Métodos estatísticos:

Efeitos aleatórios foram incluídos para indivíduo e ordem de controle para possível dependência devido a medidas repetidas ou efeitos de ordem.

Isso provavelmente evitará comentários de revisores sobre suposições de dependência ou pseudo-replicação. É mais fácil fazer isso do que "explicar" por que não há problema em abandonar esses termos, mesmo que pareçam essencialmente inúteis.

Além disso, ter esses termos no modelo provavelmente não está custando nada. Eu ficaria surpreso e desconfiado se os resultados mudassem drasticamente quando você os removesse.

Aqui estão algumas considerações:

Pragmático:

Às vezes, a distribuição dos dados não permite o ajuste do modelo aos dados. Isso pode acontecer quando, devido ao custo, tempo ou esforço, poucas tentativas são coletadas de propósito, quando os dados são muito escassos de alguma forma ou quando a distribuição dos dados se mostra degenerada ou muito plana.

Nesse caso, você pode não ter outra maneira de proceder além de simplificar o modelo, talvez de forma dramática. Normalmente, tento primeiro eliminar os efeitos que são da melhor granularidade, já que geralmente há mais deles a serem estimados.

Na pior das hipóteses, você pode prosseguir como se os dados fossem coletados independentemente. Isso pode ser melhor que nada, mas testes de significância terão que ser feitos com um grande grão de sal. A interpretação dos resultados deve ser um pouco protegida.

Prático:

Em algumas situações, pode ser razoável agrupar termos para obter algumas informações para prosseguir. Aqui, estou pensando mais em design experimental em pesquisa e desenvolvimento em andamento do que em publicação.

Lorenzen e Anderson (1993) fornecem regras "às vezes agrupadas" para o caso em que seria útil obter testes mais precisos de outros fatores no modelo.

• $\alpha=0.25$
• $0.25$

Mais uma vez, porém, esse tipo de regra é mais para uso prático e não para publicação, na minha opinião.

Teórico:

Agora, pode ser que, de fato, você obtenha resultados essencialmente "idênticos" ao descartar esses efeitos aleatórios. Isso é legal, mas você deve estar ciente de que agora está ajustando dois modelos diferentes, e os termos podem precisar ser interpretados de maneira diferente, mesmo que sejam "os mesmos".

O que eu tiraria disso é que os resultados são robustos sob várias suposições. Isso é sempre uma coisa boa.

$p$

Além disso, dependendo de como você deseja interpretar os resultados do seu modelo, você pode não querer "simplificá-lo". Littell et al (2006) discutem um pouco (p. 211) sobre inferência estreita versus ampla e inferência para toda a população versus para assuntos específicos em um cenário simples. No seu caso, você provavelmente está interessado em ampla inferência, tirando conclusões que dizem respeito a toda a população e não apenas aos indivíduos do seu estudo.

De qualquer forma, no seu caso, seu estudo foi conduzido de uma maneira que introduzisse potencial de dependência com base na ordem e nos indivíduos. Se você pode modelar com precisão a estrutura do seu estudo, deve fazê-lo.

Referências:

Littell, Milliken, Stroup, Wolfinger e Schabenberger (2006) SAS para modelos mistos. SAS.

Lorenzen e Anderson (1993) Design de Experimentos: Uma Abordagem Sem Nome. Marcel Dekker, Inc.