Como combinar as previsões quando a variável de resposta nos modelos de previsão era diferente?

9

Introdução

Na combinação de previsões, uma das soluções populares é baseada na aplicação de algum critério de informação. Tomando por exemplo o critério Akaike estimado para o modelo , pode-se calcular as diferenças de de e, em seguida, RP_j = e ^ {(AIC ^ * - AIC_j) / 2} podem ser interpretadas como a probabilidade relativa do modelo j seja a verdadeira. Os pesos são definidos comoAICjjAICjAIC=minjAICjRPj=e(AICAICj)/2j

wj=RPjjRPj

Problema

Uma dificuldade que tento superar é que os modelos são estimados nas variáveis ​​de resposta (endógena) de transformação diferente. Por exemplo, alguns modelos são baseados nas taxas de crescimento anuais, outro - nas taxas de crescimento trimestrais. Portanto, os valores AIC_j extraídos AICjnão são diretamente comparáveis.

Solução experimentada

Como tudo o que importa é a diferença dos AIC pode-se pegar o AIC do modelo base AIC(por exemplo, tentei extrair lm(y~-1)o modelo sem nenhum parâmetro) que é invariável às transformações das variáveis ​​de resposta e depois comparar as diferenças entre o j ésimo modelo e o modelo base AIC . Aqui, no entanto, parece que o ponto fraco permanece - a diferença é afetada pela transformação da variável de resposta.

Observações finais

Observe que a opção como "estimar todos os modelos nas mesmas variáveis ​​de resposta" é possível, mas consome muito tempo. Eu gostaria de procurar a "cura" rápida antes de tomar a decisão dolorosa, se não houver outra maneira de resolver o problema.

Dmitrij Celov
fonte

Respostas:

1

Eu acho que um dos métodos mais confiáveis ​​para comparar modelos é validar cruzadamente erros fora da amostra (por exemplo, MAE). Você precisará remover a transformação da variável exógena de cada modelo para comparar diretamente maçãs com maçãs.

Zach
fonte
Uma maneira alternativa que me resta para uma abordagem ainda mais demorada é usar os erros de canivete para estimar pesos semelhantes a Bates e Granger (1969) e trabalhos relacionados, como as combinações e abrangências de Clements e Harvey Forecasts (2007). O ponto fraco da abordagem baseada em erros de previsão é que ela é, em média, inferior às abordagens baseadas em informações (modelo). Como a média bayesiana é complicada, tentei aplicar um método mais simples que poderia ser considerado BMA com anteriores informativos.
Dmitrij Celov
Observe que eu não quero comparar e selecionar o melhor modelo, nem estou procurando o melhor método de combinação de previsões. Eu simplesmente tenho problemas ao comparar os AICs dos modelos com base em variáveis ​​de resposta transformadas de maneira diferente .
Dmitrij Celov
11
@Dmitrij Celov: Então, por que você está comparando AICs? Lembre-se de que o AIC é assintoticamente equivalente à validação cruzada excluída, portanto, suspeito que as comparações de ambas as métricas sejam semelhantes. stats.stackexchange.com/a/587/2817
Zach
@DmitrijCelov: "O ponto fraco da abordagem baseada em erros de previsão é que ela é, em média, inferior às abordagens baseadas em informações (modelo)". Inferior em que sentido? Você tem algumas citações ou explicações para isso? Intuição me diz esta afirmação é errada, mas a intuição é muitas vezes errado ...
Zach
Provavelmente, concluí rapidamente após a observação no documento de trabalho de G. Kapitanious et al ., Combinações de previsão e no conjunto de métodos de previsão estatística do Banco da Inglaterra, onde na p. 23 está escrito que "... combinar previsões não fornecerá geralmente a previsão ideal, enquanto combinar informações fornecerá". Equivalência assintótica não é o que eu gostaria de ter em pequenas amostras de dados macroeconômicos, mas métodos simples podem ter um desempenho mais complexo. Simplesmente a validação cruzada é a segunda melhor solução, as facas são produzidas em uma semana, AICs em uma hora. (Podemos conversar) #
Dmitrij Celov