É incomum que o MEAN supere o ARIMA?

Recentemente, apliquei uma variedade de métodos de previsão (MEAN, RWF, ETS, ARIMA e MLPs) e constatei que MEAN se saiu surpreendentemente bem. (MEAN: onde todas as previsões futuras são previstas como sendo iguais à média aritmética dos valores observados.) MEAN até superou o ARIMA nas três séries que usei.

O que eu quero saber é se isso é incomum? Isso significa que as séries temporais que estou usando são estranhas? Ou isso indica que eu configurei algo errado?

Sou praticante, produtor e usuário de previsões e NÃO um estatístico treinado. Abaixo, compartilho alguns dos meus pensamentos sobre por que sua previsão média foi melhor do que o ARIMA, referindo-se a um artigo de pesquisa que se baseia em evidências empíricas. Um livro que, repetidamente, volto a referir, é o livro de Princípios de Previsão da Armstrong e seu site, que eu recomendaria como uma excelente leitura para qualquer previsor, fornece excelentes informações sobre o uso e os princípios orientadores dos métodos de extrapolação.

Para responder à sua primeira pergunta - O que eu quero saber é se isso é incomum?

Há um capítulo chamado Extrapolação para dados de séries temporais e transversais, que também está disponível gratuitamente no mesmo site . A seguir, a citação do capítulo

"Por exemplo, na competição M2 em tempo real, que examinou 29 séries mensais, a Box-Jenkins provou ser um dos métodos menos precisos e seu erro médio geral foi 17% maior que o de uma previsão ingênua"

Existe uma evidência empírica sobre por que suas previsões médias foram melhores que os modelos ARIMA.

Também houve estudos após estudos em competições empíricas e a terceira competição M3 que mostra que a abordagem ARIMA da Box - Jenkins não produz previsões precisas e não possui evidências de que tenha um desempenho melhor na extrapolação univariada de tendências.

Há também outro artigo e um estudo em andamento de Greene e Armstrong, intitulado " Previsão simples: evitar lágrimas antes de dormir " no mesmo site. Os autores do artigo resumem da seguinte forma:

No total, identificamos 29 artigos que incorporaram 94 comparações formais da precisão das previsões de métodos complexos com aquelas de métodos simples - mas nem todos sofisticados - em todos os casos. Oitenta e três por cento das comparações descobriram que as previsões de métodos simples eram mais precisas do que, ou similarmente precisas, as de métodos complexos. Em média, os erros de previsões de métodos complexos foram cerca de 32% maiores que os erros de previsões de métodos simples nos 21 estudos que fornecem comparações de erros

Para responder à sua terceira pergunta : isso indica que eu configurei algo errado? Não, consideraria o ARIMA como método complexo e a previsão média como métodos simples. Há ampla evidência de que métodos simples, como a previsão média, superam os métodos complexos, como o ARIMA.

Para responder à sua segunda pergunta : isso significa que as séries temporais que estou usando são estranhas?

Abaixo estão o que considerei especialistas em previsão do mundo real:

• Makridakis (competição empírica pioneira em previsão denominada M, M2 e M3, e pavimentou o caminho para métodos baseados em evidências na previsão)
• Armstrong (fornece informações valiosas na forma de livros / artigos sobre práticas de previsão)
• Gardner (invented Damped Trend suavizando exponencialmente outro método simples que funciona surpreendentemente bem vs. ARIMA)

Todos os pesquisadores acima defendem a simplicidade (métodos como a sua previsão média) vs. métodos complexos como o ARIMA. Portanto, você deve se sentir à vontade para que suas previsões sejam boas e sempre favoreçam a simplicidade à complexidade com base em evidências empíricas. Todos esses pesquisadores contribuíram imensamente para o campo da previsão aplicada.

Além da boa lista de métodos simples de previsão de Stephan. há também outro método chamado Theta forecasting method, que é um método muito simples (basicamente suavização exponencial simples com um desvio que é igual a 1/2 da inclinação da regressão linear) eu adicionaria isso à sua caixa de ferramentas. Forecast package in Rimplementa esse método.

Isso não é de todo surpreendente . Na previsão, você muito muitas vezes achamos que os métodos extremamente simples, como

• a média geral
• o passeio aleatório ingênuo (ou seja, a última observação usada como previsão)
• uma caminhada aleatória sazonal (ou seja, a observação de um ano atrás)
• Suavização exponencial única

superam métodos mais complexos. É por isso que você deve sempre testar seus métodos em relação a esses benchmarks muito simples.

Uma citação de George Athanosopoulos e Rob Hyndman (especialistas na área):

Alguns métodos de previsão são muito simples e surpreendentemente eficazes.

Observe como eles dizem explicitamente que usarão métodos muito simples como benchmarks.

De fato, todo o seu livro on-line gratuito e aberto sobre previsão é muito recomendado.

EDIT: Uma das medidas de erro de previsão mais bem aceitas, o Mean Absolute Scaled Error (MASE) de Hyndman & Koehler (veja também aqui ) mede o quanto uma determinada previsão melhora na previsão de caminhada aleatória ingênua (dentro da amostra): se MASE <1, sua previsão é melhor que a caminhada aleatória dentro da amostra. Você esperaria que isso fosse um limite facilmente derrotado, certo?

Não é assim: às vezes, mesmo o melhor dos vários métodos de previsão padrão, como ARIMA ou ETS, produz apenas um MASE de 1,38, ou seja, é pior (fora da amostra) do que a previsão de caminhada aleatória (dentro da amostra). Isso é suficientemente desconcertante para gerar perguntas aqui. (Essa pergunta não é uma duplicata desta, pois o MASE compara a precisão fora da amostra com a precisão dentro da amostra de um método ingênuo, mas também é esclarecedor para a presente pergunta.)