A AIC pode comparar entre diferentes tipos de modelo?

Estou usando o AIC (critério de informações de Akaike) para comparar modelos não lineares em R. É válido comparar os AICs de diferentes tipos de modelo? Especificamente, estou comparando um modelo ajustado pelo glm versus um modelo com um termo de efeito aleatório ajustado pelo glmer (lme4).

Caso contrário, existe uma maneira de fazer essa comparação? Ou a ideia é completamente inválida?

lme4-nlme model-selection aic Thomas K
fonte

Respostas:

Depende. AIC é uma função da probabilidade do log. Se os dois tipos de modelo computarem a probabilidade do log da mesma maneira (por exemplo, incluir a mesma constante), sim, será possível, se os modelos estiverem aninhados .

Estou razoavelmente certo disso glm()e lmer()não utilizo probabilidades de log comparáveis.

O ponto sobre modelos aninhados também está em discussão. Alguns dizem que o AIC é válido apenas para modelos aninhados, pois é assim que a teoria é apresentada / trabalhada. Outros o usam para todos os tipos de comparações.

Restabelecer Monica - G. Simpson
fonte

Meu entendimento é que o lme4, por padrão, usa REML onde glm usa ML. Eles podem ser comparáveis se você fez o ML usar ML definindo REML = FALSE.

russellpierce

Além do comentário do seu Gavin, também depende do que você quer fazer com o modelo. O modelo é de previsão ou Thomas está procurando parcimônia? (Eu acho)

suncoolsu

@drnexus: Eu não acho que isso seja suficiente; você deve ter certeza de que a mesma constante de normalização está sendo aplicada no cálculo da probabilidade de log.

Reintegrar Monica - G. Simpson

@ Thomas: para isso, você precisa consultar o código ou falar com a pessoa que o escreveu para ter certeza. Em geral, suponha que as probabilidades não sejam comparáveis entre diferentes softwares / pacotes / funções.

Reintegrar Monica - G. Simpson

@ user3490 Depende do software e do algoritmo usado para obter as estimativas. Em geral, eu presumi que eles não eram os mesmos, a menos que eu tivesse certeza de que eles eram.

Reinstate Monica - G. Simpson

Essa é uma ótima pergunta sobre a qual tenho curiosidade há um tempo.

Para modelos da mesma família (ou seja, modelos auto-regressivos de ordem k ou polinômios), o AIC / BIC faz muito sentido. Em outros casos, é menos claro. Calcular exatamente a probabilidade de log (com termos constantes) deve funcionar, mas usar uma comparação de modelos mais complicada, como os fatores de Bayes, é provavelmente melhor (http://www.jstor.org/stable/2291091).

Se os modelos tiverem a mesma função de perda / erro, uma alternativa é apenas comparar as probabilidades de log validadas cruzadamente. Isso é geralmente o que tento fazer quando não tenho certeza de que o AIC / BIC faça sentido em uma determinada situação.

IanS
fonte

Observe que, em alguns casos, a AIC não pode sequer comparar modelos do mesmo tipo, como os modelos ARIMA com uma ordem diferente de diferenciação. Citando previsão: princípios e práticas de Rob J Hyndman e George Athanasopoulos:

$d$ $p$ $q$ $d$ $p$ $q$

nalzok
fonte

De fato, mas um ponto crucial é que não é o tipo de modelo que torna a comparação problemática, são os dados nos quais a probabilidade é definida.

Richard Hardy