Quando devo parar de procurar um modelo?

11

Estou procurando um modelo entre os preços das ações e o clima. Tenho o preço do MWatt comprado entre os países da Europa e muitos valores sobre o clima (arquivos Grib). A cada hora em um período de 5 anos (2011-2015).

Preço / dia

insira a descrição da imagem aqui

Isso é por dia durante um ano. Eu tenho isso por horas em 5 anos.

Exemplo de clima

insira a descrição da imagem aqui 3Dscatterplot, em Kelvin, por uma hora. Eu tenho 1000 valores por dados por hora e 200 dados, como klevin, wind, geopential etc.

Estou tentando prever o preço médio por hora do Mwatt.

Meus dados sobre o clima são muito densos, mais de 10000 valores / hora e, portanto, com uma alta correlação. É um problema de grande volume de dados.

Tentei os métodos Lasso, Ridge e SVR com o preço médio do MWatt como resultado e os dados do meu clima como renda. Tomei 70% como dados de treinamento e 30% como teste. Se os dados do meu teste não são previstos (em algum lugar dentro dos meus dados de treinamento), tenho uma boa previsão (R² = 0,89). Mas quero fazer previsões nos meus dados.

Portanto, se os dados do teste são cronologicamente após os dados do meu treinamento, eles não prevêem nada (R² = 0,05). Eu acho que é normal, porque é uma série de tempo. E há muita autocorrelação.

Eu pensei que tinha que usar o modelo de série do tempo como o ARIMA. Calculei a ordem do método (a série é estacionária) e testei. Mas isso não funciona. Quero dizer que a previsão tem um r² de 0,05. Minha previsão sobre os dados de teste não é de todo. Eu tentei o método ARIMAX com meu tempo como regressor. Coloque não adiciona nenhuma informação.

ACF / PCF, dados de teste / trem

Então, eu fiz um corte sazonal por dia e por semana

Dia

insira a descrição da imagem aqui

Semana sobre a tendência do primeiro

insira a descrição da imagem aqui

E posso ter isso se puder predecitar a tendência de tendência do meu preço das ações: insira a descrição da imagem aqui

O azul é minha previsão e o vermelho o valor real.

Vou fazer uma regressão com uma média móvel do clima como renda e a tendência da tendência do preço das ações como resultado. Mas, por enquanto, não encontrei nenhuma relação.

Mas se não houver interação, como posso saber que não há nada? talvez seja só que eu não encontrei.

el Josso
fonte
Sua pergunta é muito ampla para ser respondida. O que você está modelando? O que "não funciona"? Regressão e ARIMA são modelos totalmente diferentes, então o que exatamente você estava fazendo ..?
Tim
Estou modelando a evolução do preço. E eu tenho um R² menos de 0,2 na minha previsão
el Josso
1
E qual é exatamente o problema aqui? Você poderia elaborar quais são seus dados, quais modelos você tentou, quais problemas você tem e o mais importante: qual é a sua pergunta aqui? Como você define "evolução do preço"? Como eu disse, sua pergunta é muito vaga e muito ampla, e também um candidato a ser encerrado como irrespondível.
Tim
Preciso adicionar gráficos?
el Josso 04/07
Você pode, se ele ajuda (em muitos casos ele faz) :)
Tim

Respostas:

7

Você pode estar interessado em um domínio científico formal chamado "mecânica computacional". Em um artigo de James Crutchfield e David Feldman, eles expõem o programa de mecânica computacional - tanto quanto eu o entendo - como analisando as fronteiras entre (1) incerteza determinística e o custo da informação para inferir relações determinísticas, (2) estocástico incerteza e o custo da informação para inferir distribuições de probabilidade; e (3) incerteza entrópica e as conseqüências de ser pobre em informações.

Para responder sua pergunta diretamente (embora também de maneira bastante ampla, já que você fez uma pergunta ampla), como sabemos quando aprendemos "o suficiente" ou "tudo o que podemos" com os dados é um domínio aberto de pesquisa. O primeiro será necessariamente dependente das necessidades de um pesquisador e ator no mundo (por exemplo, dado quanto tempo? Quanta capacidade de processamento? Quanta memória, quanta urgência etc.).

Eu não sou do ramo, nem do fundo deste artigo em particular, mas eles são alguns pensadores legais. :)

Crutchfield, JP e Feldman, DP (2003). Regularidades invisíveis, aleatoriedade observada: níveis de convergência de entropia . Caos , 13 (1): 25–54.

Alexis
fonte
1
Não tenho certeza se isso 'respondeu à pergunta do OP, mas eu gosto dessa perspectiva.
horaceT
Não é realmente o que eu estava procurando, mas é um bom artigo.
El Josso 6/07