Estou realmente tendo problemas para descobrir como comparar o ARIMA e os modelos de regressão. Eu entendo como avaliar os modelos ARIMA um contra o outro e diferentes tipos de modelos de regressão (ou seja: regressão vs regressão dinâmica com erros de AR) um contra o outro, no entanto, não consigo ver muitos pontos em comum entre o modelo ARIMA e as métricas de avaliação do modelo de regressão.
As únicas duas métricas que eles compartilham é a SBC & AIC. A saída ARIMA não produz uma figura MSE raiz ou uma estatística r ^ 2. Não tenho certeza se a estimativa de erro padrão de um modelo ARIMA é diretamente equivalente (ou comparável) a qualquer coisa nas saídas de regressão.
Se alguém pudesse me apontar na direção certa, seria ótimo, pois estou realmente confuso aqui. Sinto que estou tentando comparar maçãs com laranjas.
Estou usando o SAS pela maneira de conduzir essa análise.
Você pode usar o MSE / AIC / BIC do modelo arima e compará-lo com o MSE / AIC / BIC do modelo de regressão. Apenas certifique-se de que o número de valores ajustados seja o mesmo, caso contrário você pode estar cometendo um erro. Por exemplo, se o modelo ARIMA possui uma estrutura de defasagem de sp + p (uma diferença sazonal da ordem sp e uma estrutura autorregressiva da ordem p, você perde os primeiros pontos de dados sp + p e apenas os valores NOB-SP-P são realmente adequados. Se o modelo de regressão não possui defasagens, você possui pontos ajustados NOB ou menos, dependendo da especificação dos valores defasados para as entradas.Portanto, é preciso perceber que os MSE podem não estar com os mesmos valores reais históricos. calcule o MSE do modelo de regressão nos últimos valores NOB-SP-P para colocar os modelos em pé de igualdade. Você pode querer GOOGLE " Para finalizar, normalmente, nunca se encaixaria um modelo de regressão com séries temporais, pois podem ser informações nos atrasos dos causais e nos atrasos da variável dependente justificando o STEP-UP da regressão para um modelo de função de transferência conhecido como modelo ARMAX. Se você não adotasse o STEP-UP, uma ou mais das premissas gaúchas seriam anuladas, tornando seus testes de F / T sem sentido e sem importância. Além disso, pode haver violações da constância do termo de erro exigindo a incorporação de mudanças de nível / tendências de horário local e variáveis de pulso ou de pulso sazonal para tornar o processo de erro com "média de 0,0 em todos os lugares" Para finalizar, normalmente, nunca se encaixaria um modelo de regressão com séries temporais, pois podem ser informações nos atrasos dos causais e nos atrasos da variável dependente justificando o STEP-UP da regressão para um modelo de função de transferência conhecido como modelo ARMAX. Se você não adotasse o STEP-UP, uma ou mais das premissas gaúchas seriam anuladas, tornando seus testes de F / T sem sentido e sem importância. Além disso, pode haver violações da constância do termo de erro exigindo a incorporação de mudanças de nível / tendências de horário local e variáveis de pulso ou de pulso sazonal para tornar o processo de erro com "média de 0,0 em todos os lugares" t STEP-UP, então uma ou mais das premissas gaúchas seriam anuladas, tornando seus testes de F / T sem sentido e sem importância. Além disso, pode haver violações da constância do termo de erro exigindo a incorporação de mudanças de nível / tendências de horário local e variáveis de pulso ou de pulso sazonal para tornar o processo de erro com "média de 0,0 em todos os lugares" t STEP-UP, então uma ou mais das premissas gaúchas seriam anuladas, tornando seus testes de F / T sem sentido e sem importância. Além disso, pode haver violações da constância do termo de erro exigindo a incorporação de mudanças de nível / tendências de horário local e variáveis de pulso ou de pulso sazonal para tornar o processo de erro com "média de 0,0 em todos os lugares"
fonte
A validação cruzada provavelmente seria boa aqui. Para fazer isso, você divide seu conjunto de dados em 2 partes. Você usa a primeira parte para ajustar os dois modelos e, em seguida, usa o modelo ajustado para prever a segunda parte. Isso pode ser justificado como uma aproximação a uma abordagem totalmente bayesiana da seleção de modelos. Temos a probabilidade de um modeloMEu
O que pode ser visto heuristicamente como uma sequência de previsões e depois de aprender com os erros. Você prevê o primeiro ponto de dados sem treinamento. Em seguida, você prediz o segundo ponto de dados depois de aprender sobre o modelo com o primeiro. Em seguida, você prediz o terceiro ponto de dados após usar os dois primeiros para aprender sobre o modelo e assim por diante. Agora, se você tiver um conjunto de dados suficientemente grande, os parâmetros do modelo se tornarão bem determinados além de uma certa quantidade de dados, e teremos, por algum valork :
O modelo não pode "aprender" mais sobre os parâmetros e basicamente está apenas prevendo com base no primeirok observações. Então eu escolheriak (o tamanho do primeiro grupo) seja grande o suficiente para que você possa ajustar com precisão o modelo, 20 -30 pontos de dados por parâmetro provavelmente são suficientes. Você também quer escolherk grande o suficiente para que a dependência no dk + 1. . .dN que está sendo ignorado não torna a aproximação inútil.
Então, eu simplesmente avaliaria as probabilidades de cada previsão e pegaria sua razão, interpretada como uma razão de probabilidade. Se a proporção é de cerca de1 , nenhum dos modelos é particularmente melhor que o outro. Se estiver longe de1 isso indica que um dos modelos está superando o outro. uma proporção abaixo de 5 é fraca, 10 é forte, 20 muito forte e 100, decisiva (correspondente recíproco para pequenos números).
fonte