Estou trabalhando em um modelo de previsão baseado em ANN para uma série temporal financeira. Estou usando a validação cruzada 5 vezes e o desempenho médio é tão. O desempenho na última dobra (a iteração em que o último segmento é omitido do treinamento e usado para validação) é melhor que a média.
Isso é uma coincidência / depende dos dados ou o desempenho da validação na última dobra geralmente é melhor? (presumivelmente porque o treinamento com todos os dados anteriores está mais relacionado aos dados subsequentes em séries temporais)
Parece um pouco uma pergunta estranha, mas estou esperando por algumas respostas de qualquer maneira. Desde já, obrigado :)
Respostas:
Com as séries temporais, não é possível testar um modelo de previsão via validação cruzada da maneira normal, pois você está usando observações futuras para prever o passado. Você deve usar apenas observações passadas para prever o futuro. A série temporal equivalente ao LOO CV é usar uma origem de previsão contínua. Eu escrevi sobre isso neste post do blog . Não tenho certeza se o CV com dobra em k tem um equivalente direto de série temporal.
fonte
No Sci-Kit Learn Python Kit, eles têm algo chamado "TimeSeriesSplit", que basicamente se parece com o conjunto de amostras de treinamento / teste que você obteria em uma otimização Walk Forward. Rob estava certo, você não pode usar pontos de dados futuros para treinar para conjuntos de testes anteriores ... então a melhor maneira de validar cruzadamente é dividir seus conjuntos de treinamento em tantas "dobras" quanto possível, mantendo o conjunto de testes "Caminhando para a frente" . A conseqüência é que cada treinamento sucessivo estabeleceu um superconjunto daqueles anteriores e cada teste configurou dados cada vez mais recentes para manter-se à frente do "avanço".
fonte