Regularização para modelos ARIMA

15

Estou ciente do tipo de regularização LASSO, cume e rede elástica em modelos de regressão linear.

Questão:

  1. Esse tipo de estimativa penalizada (ou similar) pode ser aplicada à modelagem ARIMA (com uma parte MA não vazia)?

pmaxqmax q q m um xppmaxqqmax

Minhas perguntas adicionais são:

  1. Poderíamos incluir todos os termos até ( , ), mas penalizar o tamanho dos coeficientes (potencialmente até zero)? Isso faria sentido? q m a xpmaxqmax
  2. Se fosse, isso foi implementado no R ou em outro software? Se não, qual foi o problema?

Um post um pouco relacionado pode ser encontrado aqui .

Richard Hardy
fonte
11
+1 para uma pergunta muito boa. Como P, Q são valores discretos, pode ser mais eficiente fazer uma pesquisa na grade para encontrar a ordem ideal de P, Q?
Forecaster
2
Estou feliz que você gostou! Sim, uma pesquisa em grade é uma das opções na estrutura a que me refiro como "a usual". Pode-se pesquisar sobre uma grade as combinações possíveis de de ( 0 , 0 ) a ( p m a x , q m a x ) . No entanto, isso ainda faz parte da "estrutura usual". Como alternativa, estou interessado em manter todos os atrasos, mas em penalizar o tamanho dos coeficientes. (p,q)(0,0)(pmax,qmax)
Richard Hardy
11
columbia.edu/~sn2294/papers/forecast.pdf Supostamente o LASSO funciona melhor, pois você pode pular alguns atrasos em vez de colocar o máximo. O mesmo pode ser feito pela AIC, mas fica computacionalmente caro.
Cagdas Ozgenc
11
@CagdasOzgenc, examinei o artigo, mas ele não parece estar lidando com a regularização aplicada nos modelos ARIMA (embora mencione os modelos ARMA no contexto dos critérios de informação). Você poderia apontar qual parte do artigo é relevante para minhas perguntas?
Richard Hardy
11
5.3 a tabela contém modelos ARMAX. Os resultados se aplicam aos modelos ARMA.
Cagdas Ozgenc

Respostas:

9

Resposta à pergunta 1.

Chen & Chan "Seleção do subconjunto ARMA via Lasso adaptável" (2011) * usa uma solução alternativa para evitar a estimativa de probabilidade máxima máxima exigida computacionalmente. Citando o jornal, eles

proponha encontrar um modelo ARMA de subconjunto ideal ajustando uma regressão adaptativa de Lasso da série temporal em seus próprios atrasos e os resíduos que são obtidos ao ajustar uma regressão automática longa aos y t s. <...> [U] sob condições de regularidade moderada, o método proposto obtém as propriedades do oráculo, ou seja, identifica o modelo ARMA do subconjunto correto com probabilidade tendendo a um à medida que o tamanho da amostra aumenta para o infinito, e <...> o os estimadores dos coeficientes diferentes de zero são assintoticamente normais, com a distribuição limitante a mesma que quando os coeficientes zero são conhecidos a priori.ytyt

Opcionalmente, eles sugerem a estimativa de probabilidade máxima e o diagnóstico de modelo para o (s) modelo (s) de subconjunto selecionado (s) ARMA.


Wilms et al. "A identificação esparsa e a estimativa de médias móveis auto-regressivas de vetor de alta dimensão" (2017) fazem ainda mais do que eu pedi. Em vez de um modelo ARIMA univariado, eles pegam um vetor ARMA (VARMA) em altas dimensões e usam uma penalidade para estimativa e seleção de ordem de atraso. Eles apresentam o algoritmo de estimação e desenvolvem alguns resultados assintóticos.L1

Em particular, eles empregam um procedimento de duas etapas. Considere-se um modelo VARMA que tem de ser estimada, mas a ordens lag p e q são uknown.

yt=l=1pΦlytl+m=1qΘmεtm+εt
pq
  • No Estágio 1, eles aproximam o modelo VARMA por um modelo VAR de alta ordem e estimam-no usando um estimador HAR-hierárquico VAR, que coloca uma penalidade hierárquica de lastro de grupo hierárquica baseada em lag nos parâmetros auto-regressivos.
    (A ordem de atraso está definida como . As equações do modelo são estimadas em conjunto e a norma de Frobenius dos erros| | y - y | | F 2 é minimizada com uma pena de grupo hierárquica-lasso sobre os coeficientes de regressão). Obtêm resíduos £ :=y - y para ser usada como substitutos para os verdadeiros erros na Fase 2.1.5T||yy^||2F
    ε^:=yy^

  • yt=l=1p^Φlytl+m=1q^Θmε^tm+ut,

    p^q^1.5T

A abordagem de Wilms et al. é implementado no pacote R "bigtime" .


Referências


* Obrigado a @hejseb pelo link.

Richard Hardy
fonte
2
Este documento de trabalho é muito recente, publicado no arXiv ontem.
Richard Hardy
Existe alguma implementação em python ou R?
David Masip
@DavidMasip, consulte a postagem atualizada para uma implementação de R.
Richard Hardy