Rede neural convolucional para séries temporais?

Gostaria de saber se existe um código para treinar uma rede neural convolucional para fazer a classificação de séries temporais.

Eu vi alguns artigos recentes ( http://www.fer.unizg.hr/_download/repository/KDI-Djalto.pdf ), mas não tenho certeza se existe algo ou se eu mesmo o codigo.

Se você deseja uma solução de caixa preta de código aberto, tente analisar o Weka , uma biblioteca java de algoritmos de ML. Esse cara também usou Camadas Covolucionais em Weka e você pode editar o código de classificação para se adequar a uma tarefa de classificação de séries temporais.

Quanto à codificação do seu próprio ... Estou trabalhando no mesmo problema usando a biblioteca python, theano (vou editar este post com um link para o meu código, se eu decifrá-lo em breve). Aqui está uma lista abrangente de todos os documentos que utilizarei para me ajudar em uma boa hora de pesquisa na web:

• Previsão de séries temporais e redes neurais
• Redes Convolucionais de Imagens, Fala e Séries Temporais
• Redes neurais profundas para previsão de séries temporais com aplicações em previsão de vento a curto prazo
• Redes Convolucionais para Negociação de Ações
• Negociação de ações de arbitragem estatística usando redes neurais com atraso de tempo
• Classificação de séries temporais usando redes neurais convolucionais profundas de vários canais
• Redes neurais para previsão de séries temporais
• Aplicação de redes neurais para detecção de desvios de conceito nos mercados financeiros
• Codificação de séries temporais como imagens para inspeção visual e classificação usando redes neurais convolucionais lado a lado
• Previsão de Séries Temporais Utilizando Rede Neural de Processo Discreto com Soma de Convolução
• Redes Convolucionais Recorrentes de Longo Prazo para Reconhecimento Visual e Descrição
• Explorando estruturas de redes neurais convolucionais e técnicas de otimização para reconhecimento de fala

Como ponto de partida, você pode editar o código encontrado aqui para classificar em um número diferente de categorias ou editá-lo da classificação para a regressão - fiz isso removendo a camada final do softmax e criando apenas um nó de saída. Eu o treinei em fatias de uma função como y=sin(x)um teste.

É inteiramente possível usar uma CNN para fazer previsões de séries temporais, seja por regressão ou classificação. As CNNs são boas em encontrar padrões locais e, de fato, trabalham com a suposição de que os padrões locais são relevantes em todos os lugares. A convolução também é uma operação bem conhecida em séries temporais e processamento de sinais. Outra vantagem sobre as RNNs é que elas podem ser muito rápidas de calcular, pois podem ser paralelizadas em oposição à natureza seqüencial da RNN.

No código abaixo, demonstrarei um estudo de caso em que é possível prever a demanda de eletricidade em R usando keras. Observe que este não é um problema de classificação (eu não tinha um exemplo útil), mas não é difícil modificar o código para lidar com um problema de classificação (use uma saída softmax em vez de uma saída linear e uma perda de entropia cruzada).

O conjunto de dados está disponível na biblioteca fpp2:

library(fpp2)
library(keras)

data("elecdemand")

elec <- as.data.frame(elecdemand)

dm <- as.matrix(elec[, c("WorkDay", "Temperature", "Demand")])

Em seguida, criamos um gerador de dados. Isso é usado para criar lotes de dados de treinamento e validação a serem usados ​​durante o processo de treinamento. Observe que esse código é uma versão mais simples de um gerador de dados encontrado no livro "Deep Learning with R" (e a versão em vídeo dele "Deep Learning with R in Motion") de publicações de tripulação.

data_gen <- function(dm, batch_size, ycol, lookback, lookahead) {

  num_rows <- nrow(dm) - lookback - lookahead
  num_batches <- ceiling(num_rows/batch_size)
  last_batch_size <- if (num_rows %% batch_size == 0) batch_size else num_rows %% batch_size
  i <- 1
  start_idx <- 1
  return(function(){
    running_batch_size <<- if (i == num_batches) last_batch_size else batch_size
    end_idx <- start_idx + running_batch_size - 1
    start_indices <- start_idx:end_idx

    X_batch <- array(0, dim = c(running_batch_size,
                                lookback,
                                ncol(dm)))
    y_batch <- array(0, dim = c(running_batch_size, 
                                length(ycol)))

    for (j in 1:running_batch_size){
      row_indices <- start_indices[j]:(start_indices[j]+lookback-1)
      X_batch[j,,] <- dm[row_indices,]
      y_batch[j,] <- dm[start_indices[j]+lookback-1+lookahead, ycol]
    }
    i <<- i+1
    start_idx <<- end_idx+1 
    if (i > num_batches){
      i <<- 1
      start_idx <<- 1
    }

    list(X_batch, y_batch)

  })
}

Em seguida, especificamos alguns parâmetros a serem passados ​​para nossos geradores de dados (criamos dois geradores, um para treinamento e outro para validação).

lookback <- 72
lookahead <- 1
batch_size <- 168
ycol <- 3

O parâmetro lookback é a distância que queremos olhar no passado e a distância que olhamos para o futuro que queremos prever.

Em seguida, dividimos nosso conjunto de dados e criamos dois geradores:

train_dm <- dm [1: 15000,]

val_dm <- dm[15001:16000,]
test_dm <- dm[16001:nrow(dm),]

train_gen <- data_gen(
  train_dm,
  batch_size = batch_size,
  ycol = ycol,
  lookback = lookback,
  lookahead = lookahead
)


val_gen <- data_gen(
  val_dm,
  batch_size = batch_size,
  ycol = ycol,
  lookback = lookback,
  lookahead = lookahead
)

Em seguida, criamos uma rede neural com uma camada convolucional e treinamos o modelo:

model <- keras_model_sequential() %>%
  layer_conv_1d(filters=64, kernel_size=4, activation="relu", input_shape=c(lookback, dim(dm)[[-1]])) %>%
  layer_max_pooling_1d(pool_size=4) %>%
  layer_flatten() %>%
  layer_dense(units=lookback * dim(dm)[[-1]], activation="relu") %>%
  layer_dropout(rate=0.2) %>%
  layer_dense(units=1, activation="linear")


model %>% compile(
  optimizer = optimizer_rmsprop(lr=0.001),
  loss = "mse",
  metric = "mae"
)

val_steps <- 48

history <- model %>% fit_generator(
  train_gen,
  steps_per_epoch = 50,
  epochs = 50,
  validation_data = val_gen,
  validation_steps = val_steps
)

Finalmente, podemos criar algum código para prever uma sequência de 24 pontos de dados usando um procedimento simples, explicado nos comentários do R.

####### How to create predictions ####################

#We will create a predict_forecast function that will do the following: 
#The function will be given a dataset that will contain weather forecast values and Demand values for the lookback duration. The rest of the MW values will be non-available and 
#will be "filled-in" by the deep network (predicted). We will do this with the test_dm dataset.

horizon <- 24

#Store all target values in a vector
goal_predictions <- test_dm[1:(lookback+horizon),ycol]
#get a copy of the dm_test
test_set <- test_dm[1:(lookback+horizon),]
#Set all the Demand values, except the lookback values, in the test set to be equal to NA.
test_set[(lookback+1):nrow(test_set), ycol] <- NA

predict_forecast <- function(model, test_data, ycol, lookback, horizon) {
  i <-1
  for (i in 1:horizon){
    start_idx <- i
    end_idx <- start_idx + lookback - 1
    predict_idx <- end_idx + 1
    input_batch <- test_data[start_idx:end_idx,]
    input_batch <- input_batch %>% array_reshape(dim = c(1, dim(input_batch)))
    prediction <- model %>% predict_on_batch(input_batch)
    test_data[predict_idx, ycol] <- prediction
  }

  test_data[(lookback+1):(lookback+horizon), ycol]
}

preds <- predict_forecast(model, test_set, ycol, lookback, horizon)

targets <- goal_predictions[(lookback+1):(lookback+horizon)]

pred_df <- data.frame(x = 1:horizon, y = targets, y_hat = preds)

e voila:

Não é tão ruim.