Quando é apropriado selecionar modelos minimizando o AIC?

Está bem estabelecido, pelo menos entre os estatísticos de maior calibre, que os modelos com os valores da estatística da AIC dentro de um certo limite do valor mínimo devem ser considerados tão apropriados quanto o modelo que minimiza a estatística da AIC. Por exemplo, em [1, p.221], encontramos

Os modelos com GCV ou AIC pequeno seriam considerados os melhores. Obviamente, não se deve apenas minimizar cegamente o GCV ou o AIC. Em vez disso, todos os modelos com valores GCV ou AIC razoavelmente pequenos devem ser considerados potencialmente adequados e avaliados de acordo com sua simplicidade e relevância científica.

Da mesma forma, em [2, p.144], temos

Foi sugerido (Duong, 1984) que modelos com valores de AIC dentro de c do valor mínimo sejam considerados competitivos (com c = 2 como um valor típico). A seleção entre os modelos competitivos pode então se basear em fatores como brancura dos resíduos (Seção 5.3) e simplicidade do modelo.

Referências:

1. Ruppert, D .; Wand, MP & Carrol, RJ Regressão semiparamétrica , Cambridge University Press, 2003
2. Brockwell, PJ & Davis, RA Introdução a séries temporais e previsão , John Wiley & Sons, 1996

Dado o exposto, qual dos dois modelos abaixo deve ser o preferido?

print( lh300 <- arima(lh, order=c(3,0,0)) )
# ... sigma^2 estimated as 0.1787:  log likelihood = -27.09,  aic = 64.18
print( lh100 <- arima(lh, order=c(1,0,0)) )
# ... sigma^2 estimated as 0.1975:  log likelihood = -29.38,  aic = 64.76

De maneira mais geral, quando é apropriado selecionar modelos minimizando cegamente a AIC ou a estatística relacionada?

Parafraseando as notas da aula de Cosma Shalizi sobre a verdade sobre a regressão linear , você nunca deve escolher um modelo apenas porque aconteceu para minimizar uma estatística como a AIC , por

Every time someone solely uses an AIC statistic for model selection, an angel loses its
wings. Every time someone thoughtlessly minimises it, an angel not only loses its wings,
but is cast out of Heaven and falls in most extreme agony into the everlasting fire.

Eu diria que geralmente é apropriado usar o AIC na seleção de modelos, mas raramente é correto usá-lo como a única base para a seleção de modelos. Também devemos usar conhecimento substantivo.

No seu caso particular, você está comparando um modelo com um AR de 3ª ordem versus um com um AR de 1ª ordem. Além do AIC (ou algo semelhante), eu examinaria os gráficos de autocorrelação e parcial de autocorrelação. Gostaria também de considerar que um terceiro modelo de ordem seria dizer . Isso faz sentido? Isso contribui para o conhecimento substantivo? (Ou, se você estiver interessado apenas em previsão, isso ajuda a prever?)

Geralmente, às vezes acontece que encontrar um tamanho de efeito muito pequeno é interessante.

Você pode pensar em AIC como fornecendo um (ou seja, maior) mais razoável cutoff -valor. Mas a seleção de modelos com base nos valores ou em qualquer outra métrica de uma variável de cada vez é enfrentada com dificuldades, tendo todos os problemas da seleção de variáveis ​​por etapas. De um modo geral, o AIC funciona melhor se usado para selecionar um único parâmetro único (por exemplo, coeficiente de contração) ou para comparar 2 ou 3 modelos candidatos. Caso contrário, o ajuste de todo o conjunto de variáveis ​​de alguma forma, usando encolhimento ou redução de dados, geralmente resultará em discriminação preditiva superior. A parcimônia está em desacordo com a discriminação preditiva.$P$$P$