AIC versus validação cruzada em séries temporais: o pequeno caso de amostra

23

Estou interessado na seleção de modelos em uma configuração de série temporal. Por concretude, suponha que eu queira selecionar um modelo ARMA de um conjunto de modelos ARMA com diferentes ordens de atraso. A intenção final é a previsão .

A seleção do modelo pode ser feita por

  1. validação cruzada,
  2. uso de critérios de informação (AIC, BIC),

entre outros métodos.

Rob J. Hyndman fornece uma maneira de fazer a validação cruzada para séries temporais . Para amostras relativamente pequenas, o tamanho da amostra usado na validação cruzada pode ser qualitativamente diferente do tamanho da amostra original. Por exemplo, se o tamanho original da amostra for 200 observações, pode-se pensar em iniciar a validação cruzada, fazendo as primeiras 101 observações e expandindo a janela para 102, 103, ..., 200 observações para obter 100 resultados de validação cruzada. Claramente, um modelo razoavelmente parcimonioso para 200 observações pode ser muito grande para 100 observações e, portanto, seu erro de validação será grande. Assim, a validação cruzada provavelmente favorecerá sistematicamente modelos muito parcimoniosos. Este é um efeito indesejável devido à incompatibilidade nos tamanhos das amostras .

Uma alternativa à validação cruzada é usar critérios de informação para seleção de modelo. Como me preocupo com a previsão, usaria o AIC. Embora o AIC seja assintoticamente equivalente a minimizar o MSE de uma etapa fora da amostra para modelos de séries temporais (de acordo com este post de Rob J. Hyndman), duvido que isso seja relevante aqui, pois a amostra tamanhos que me interessam não são tão grandes ...

Pergunta: devo escolher o AIC ao longo da validação cruzada de séries temporais para amostras pequenas / médias?

Algumas perguntas relacionadas podem ser encontradas aqui , aqui e aqui .

Richard Hardy
fonte
1
Eu também imaginaria que o BIC também é equivalente a uma previsão "mais longa" (m-passo à frente), dado seu link para deixar k de fora a validação cruzada. Para 200 observações, provavelmente, não faz muita diferença (penalidade de 5p em vez de 2p).
probabilityislogic
1
@CagdasOzgenc, perguntei a Rob J. Hyndman sobre se a validação cruzada provavelmente favorecerá sistematicamente modelos muito parcimoniosos no contexto dado no OP e recebi uma confirmação, o que é bastante encorajador. Quero dizer, a ideia que eu estava tentando explicar no chat parece ser válida.
Richard Hardy
Existem razões teóricas para favorecer o AIC ou o BIC, pois, se alguém começa com a teoria da probabilidade e da informação, a métrica baseada nessas informações possui propriedades estatísticas bem conhecidas. Mas muitas vezes é que se lida com um conjunto de dados que não é tão grande.
Analista
3
Passei bastante tempo tentando entender a AIC. A igualdade da declaração é baseada em inúmeras aproximações que equivalem a versões do CLT. Pessoalmente, acho que isso torna a AIC muito questionável para pequenas amostras.
meh
1
@IsabellaGhement, por que deveria? Não há razão para nos restringir a esse uso específico da validação cruzada. Isso não quer dizer que a validação cruzada não possa ser usada para avaliação de modelo, é claro.
Richard Hardy

Respostas:

2

Tirando as considerações teóricas de lado, o Critério de Informação de Akaike é apenas uma probabilidade penalizada pelos graus de liberdade. A seguir, a AIC responde pela incerteza nos dados ( -2LL ) e assume que mais parâmetros levam a um risco maior de sobreajuste ( 2k ). A validação cruzada apenas analisa o desempenho do conjunto de testes do modelo, sem outras suposições.

Se você se preocupa principalmente em fazer as previsões e pode assumir que o (s) conjunto (s) de teste seria razoavelmente semelhante aos dados do mundo real, faça uma validação cruzada. O possível problema é que, quando seus dados são pequenos e, ao dividi-los, você acaba com pequenos conjuntos de treinamento e teste. Menos dados para treinamento são ruins e menos dados para o conjunto de testes tornam os resultados da validação cruzada mais incertos (consulte Varoquaux, 2018 ). Se sua amostra de teste for insuficiente, você poderá ser forçado a usar o AIC, mas tenha em mente o que ele mede e quais podem ser as suposições.

Por outro lado, como já mencionado nos comentários, a AIC oferece garantias assintomáticas, e não é o caso de amostras pequenas. Amostras pequenas também podem ser enganosas quanto à incerteza nos dados.

Tim
fonte
Obrigado pela resposta! Você teria algum comentário específico sobre o efeito indesejável do tamanho da amostra muito menor na validação cruzada devido à natureza da série temporal dos dados?
Richard Hardy
1

Hm - se seu objetivo final é prever, por que você pretende fazer a seleção de modelos? Até onde eu sei, está bem estabelecido tanto na literatura estatística "tradicional" quanto na literatura de aprendizado de máquina que modelam a média é superior quando se trata de previsão. Simplificando, a média do modelo significa que você estima todos os modelos plausíveis, permite que todos prevejam e calculem a média de suas predições ponderadas pelas evidências relativas do modelo.

Uma referência útil para iniciar é https://journals.sagepub.com/doi/10.1177/0049124104268644

Eles explicam isso de maneira bastante simples e se referem à literatura relevante.

Espero que isto ajude.

StoryTeller0815
fonte
-1

Minha ideia é fazer as duas coisas e ver. É direto usar o AIC. Quanto menor a AIC, melhor o modelo. Mas não se pode depender da AIC e dizer que esse modelo é o melhor. Portanto, se você tiver um conjunto de modelos ARIMA, verifique cada um e verifique a previsão dos valores existentes e veja qual modelo prediz o mais próximo dos dados da série temporal existentes. Em segundo lugar, verifique também o AIC e, considerando os dois, faça uma boa escolha. Não há regras rígidas e rápidas. Basta ir para o modelo que prevê o melhor.

Dovini Jayasinghe
fonte
Obrigado pela sua resposta! Estou procurando uma maneira baseada em princípios para selecionar entre os diferentes métodos de seleção de modelos. Enquanto você estiver certo que não existem regras rígidas e rápidas , precisamos de diretrizes claras sob condições ideais hipotéticas para nos ajudar nas situações confusas do mundo real. Portanto, embora eu geralmente concorde com o seu ponto de vista, não acho sua resposta particularmente útil.
Richard Hardy