Análise de séries temporais vs. aprendizado de máquina?

Apenas uma pergunta geral. Se você possui dados de séries temporais, quando é melhor usar técnicas de séries temporais (aka, ARCH, GARCH, etc) sobre técnicas de aprendizado de máquina / estatística (KNN, regressão)? Se houver uma pergunta semelhante sobre validação cruzada, aponte-me para ela - olhou e não conseguiu encontrar uma.

Os métodos típicos de aprendizado de máquina pressupõem que seus dados são independentes e distribuídos de forma idêntica, o que não é verdade para os dados de séries temporais. Portanto, eles estão em desvantagem em comparação com as técnicas de séries temporais, em termos de precisão. Para obter exemplos disso, consulte as perguntas anteriores. A ordenação de séries temporais para aprendizado de máquina e a floresta aleatória está sobregravada .

Francis Diebold publicou recentemente "ML e Metrics VI: uma diferença fundamental entre ML e TS Econometrics" em seu blog. Estou fornecendo uma versão reduzida, para que todo o crédito seja para ele. (A ênfase em negrito é minha.)

O aprendizado de máquina estatístico (ML) e a econometria de séries temporais (TS) têm muito em comum. Mas também há uma diferença interessante: a ênfase de ML na modelagem não paramétrica flexível da não linearidade média condicional não desempenha um papel importante no TS. <...>

[T] aqui estão muito poucas evidências de não linearidade média condicional importante na dinâmica de covariância-estacionária (de tendência, descentralização) da maioria das séries temporais econômicas. <...> De fato, posso pensar em apenas um tipo de não linearidade média condicional que emergiu como repetidamente importante para (pelo menos algumas) séries temporais econômicas: dinâmica de comutação de Markov no estilo Hamilton.

[É claro que há um elefante não linear na sala: dinâmica do tipo GARCH no estilo Engle. Eles são extremamente importantes na econometria financeira, e às vezes também na macroeconomia, mas são sobre variações condicionais, não meios condicionais.]

Portanto, existem basicamente apenas dois modelos não lineares importantes no TS, e apenas um deles fala da dinâmica da média condicional. E, crucialmente, os dois são muito paramétricos, perfeitamente adaptados a recursos especializados de dados econômicos e financeiros.

Assim, a conclusão é:

ML enfatiza a aproximação de funções médias condicionais não lineares de maneira não paramétrica altamente flexível. Isso acaba por ser duplamente desnecessário no TS: não há muito o que se preocupar com a não linearidade média condicional e, quando ocasionalmente existe, é tipicamente de natureza altamente especializada, melhor aproximada da maneira altamente especializada (rigorosamente paramétrica) .

Eu recomendo a leitura de todo o post original aqui .

Como o @Tom Minka apontou, a maioria das técnicas de ML assume entradas do iid. Existem algumas soluções, porém:

1. Pode-se usar todas as amostras de séries temporais passadas dentro do sistema 'Memória' como um vetor de característica, ou seja: x = [x (t-1), x (t-2), ... x (tM)]. No entanto, isso tem dois problemas: 1) dependendo do seu binning, você pode ter um vetor de recurso enorme 2- alguns métodos exigem que os recursos do vetor de recurso sejam independentes, o que não é o caso aqui.

2. Existem muitas técnicas de ML que são projetadas especificamente para esses dados de séries temporais, por exemplo, Hidden Markov Models, que foram usadas com muito sucesso para detecção de ataques, processamento de fala, etc.

3. Finalmente, uma abordagem adotada é usar técnicas de 'extração de recursos' para converter um problema de regressão dinâmica (que tem o elemento de tempo) em um estático. Por exemplo, a abordagem do Modo Dinâmico Principal (PDM) mapeia o vetor de recurso passado da entrada ([x (t-1), x (t-2), ... x (tM)])) para um estático ([v ( 1), v (2), .. v (L)]) convolvendo o passado com um banco de filtros linear específico do sistema (os PDMs), consulte Marmarelis, livro de 2004 ou Marmarelis, Vasilis Z. "Metodologia de modelagem para sistemas fisiológicos não lineares . " Anais de engenharia biomédica 25.2 (1997): 239-251 ...