O que é fácil de interpretar, medidas de qualidade de ajuste para modelos lineares de efeitos mistos?

37

Atualmente, estou usando o pacote R lme4 .

Estou usando um modelo linear de efeitos mistos com efeitos aleatórios:

library(lme4)
mod1 <- lmer(r1 ~ (1 | site), data = sample_set) #Only random effects
mod2 <- lmer(r1 ~ p1 + (1 | site), data = sample_set) #One fixed effect + 
            # random effects
mod3 <- lmer(r1 ~ p1 + p2 + (1 | site), data = sample_set) #Two fixed effects + 
            # random effects

Para comparar modelos, estou usando a anovafunção e observando as diferenças na AIC em relação ao modelo mais baixo da AIC:

anova(mod1, mod2, mod3)

O acima é bom para comparar modelos.

No entanto, também preciso de uma maneira simples de interpretar medidas de qualidade de ajuste para cada modelo. Alguém tem experiência com essas medidas? Eu fiz algumas pesquisas e existem artigos de jornal em R ao quadrado para os efeitos fixos de modelos de efeitos mistos:

  • Cheng, J., Edwards, LJ, Maldonado-Molina, MM, Komro, KA e Muller, KE (2010). Análise longitudinal real de dados para pessoas reais: construindo um modelo misto suficientemente bom. Statistics in Medicine, 29 (4), 504-520. doi: 10.1002 / sim.3775
  • Edwards, LJ, Muller, KE, Wolfinger, RD, Qaqish, BF e Schabenberger, O. (2008). Uma estatística R2 para efeitos fixos no modelo linear misto. Statistics in Medicine, 27 (29), 6137-6157. doi: 10.1002 / sim.3429

Parece, no entanto, que há algumas críticas em torno do uso de medidas como as propostas nos documentos acima.

Alguém poderia sugerir algumas medidas fáceis de interpretar e de boa qualidade que poderiam ser aplicadas aos meus modelos?

mjburns
fonte
2
Eu realmente gosto da pergunta, mas usar testes de razão de verossimilhança para determinar se são necessários efeitos fixos ou não não é a estratégia recomendada, consulte as perguntas frequentes . Portanto, o acima não é bom para comparar modelos.
Henrik
Obrigado Henrik. O FAQ que você listou é muito útil. Parece que a amostragem da cadeia de Markov em Monte Carlo poderia ser uma boa estratégia para comparar meus modelos.
mjburns
11
O problema com o MCMC é que você só pode ter efeitos aleatórios simples (como no seu exemplo). Eu iria com a aproximação de kenward-rogers aos graus de liberdade, como também se aplica a modelos mais complicados. Veja a função mixed()no meu pacote afex ( a versão de desenvolvimento também possui bootstrap paramétrico ). Veja aqui para algumas referências .
21912 Henrik
OK Henrik. Eu consegui fazer com que sua função mixed () funcionasse no pacote afex. Você poderia aconselhar sobre como eu poderia usar o afex para comparar modelos? Que medida (s) eu poderia usar para decidir se um modelo é mais plausível que outro? Obrigado.
Mjburns
Isso não é facilmente respondido; talvez você faça uma pergunta separada, fornecendo mais detalhes. Mas, brevemente, o afex tenta ajudá-lo a avaliar se determinados efeitos (ou melhores modelos, incluindo esse efeito) são significativos. Para esse fim, ele usa KRmodcompdo pacote pbkrtest. Você também pode usar KRmodcompdiretamente para comparar modelos.
Henrik

Respostas:

3

Não há nada como uma medida de qualidade de ajuste fácil de interpretar para modelos lineares mistos :)

O ajuste do efeito aleatório (mod1) pode ser medido por ICCe ICC2(a razão entre a variação contabilizada pelos efeitos aleatórios e a variação residual). O pacote psicométrico R inclui uma função para extraí-los do objeto lme.

É possível usar R2para avaliar o efeito fixo (mod2, mod3), mas isso pode ser complicado: quando dois modelos mostram um R2 semelhante, pode ser que um seja mais "preciso", mas que seja mascarado por seu fator fixo " subtraindo "um componente de maior variação para o efeito aleatório. Por outro lado, é fácil interpretar um R2 maior do modelo de ordem mais alta (por exemplo, mod3). No capítulo de Baayen sobre modelos mistos, há uma boa discussão sobre isso. Além disso, é tutorial é muito claro.

Uma solução possível é considerar cada um de forma variance componentindependente e usá-los para comparar os modelos.

ajeje
fonte
11
Você pode nos dizer qual é a referência a que você se refere quando diz o capítulo de Baayen?
KH Kim
sim, a referência está quebrada!
Curioso
Encontrei essa citação, não tenho certeza se é isso, mas não consigo obter o PDF em nenhum lugar: BaayenR. H., Analisando dados linguísticos: Uma introdução prática à estatística usando R. Cambridge: Cambridge University Press, 2008. Pp. 368. ISBN-13: 978-0-521-70918-7. - Volume 37 Edição 2 - Grzegorz Krajewski, Danielle Matthews
Curioso
11
Vamos lá pessoal. Onde está o seu google-foo? Faça uma pesquisa em "baayenCUPstats.pdf: primeiro hit: sfs.uni-tuebingen.de/~hbaayen/publications/baayenCUPstats.pdf
DWin