Eu sou novo na área de aprendizado profundo e, para mim, o primeiro passo foi ler artigos interessantes no site deeplearning.net. Em artigos sobre aprendizado profundo, Hinton e outros falam principalmente sobre como aplicá-lo a problemas de imagem. Alguém pode tentar me responder, pode ser aplicado ao problema de previsão de valores de séries temporais (financeiro, tráfego na Internet, ...) e quais são as coisas importantes que eu devo focar se for possível?
54
Respostas:
Há algum trabalho sobre a adaptação de métodos de aprendizado profundo para dados seqüenciais. Muito deste trabalho se concentrou no desenvolvimento de "módulos" que podem ser empilhados de maneira análoga a empilhamento de máquinas boltzmann restritas (RBMs) ou auto-codificadores para formar uma rede neural profunda. Vou destacar alguns abaixo:
fonte
Sim, o aprendizado profundo pode ser aplicado para previsões de séries temporais. De fato, isso já foi feito várias vezes, por exemplo:
Este não é realmente um "caso especial", o aprendizado profundo é principalmente sobre o método de pré-processamento (baseado no modelo generativo); portanto, você precisa se concentrar exatamente nas mesmas coisas em que se concentra ao fazer o aprendizado profundo no "sentido tradicional" de um e as mesmas coisas em que você se concentra ao executar previsões de séries temporais sem aprendizado profundo.
fonte
Redes neurais recorrentes são consideradas um tipo de aprendizado profundo (DL). Eu acho que elas são a ferramenta DL mais popular para o aprendizado (1d) de sequência a sequência. Atualmente, eles são a base das abordagens de Tradução Automática Neural (NMT) (pioneira em 2014 no LISA (UdeM), no Google e provavelmente em algumas outras que não me lembro).
fonte
A geração de seqüências de Alex Graves com redes neurais recorrentes usa redes recorrentes e células de memória de longo prazo para prever texto e fazer síntese de manuscritos.
Andrej Karpathy escreveu um blog sobre como gerar seqüências no nível do personagem do zero. Ele usa RNNs em seu tutorial.
Para mais exemplos, você deve olhar para Hochreiter, S., & Schmidhuber, J. (1997). Memória de curto prazo. Computação neural, 9 (8), 1735-1780.
fonte
Talvez isso ajude:
Se você tiver uma definição para sua janela de tempo exata nos dados, como frases neste artigo ou parágrafos, poderá usar o LSTM, mas não sei como encontrar a janela de tempo que não seja óbvia e tenha mais conhecimento do contexto. Um exemplo disso pode ser quantos dados de log que você está vendo estão relacionados e isso não é algo óbvio.
fonte