Eu uso a rede LSTM em Keras. Durante o treinamento, a perda varia muito, e eu não entendo por que isso aconteceria. Aqui está o NN que eu estava usando inicialmente: E aqui estão a perda e a precisão durante o treinamento: (Observe que a precisão chega a 100% eventualmente, mas são necessárias...
Eu queria saber qual é a melhor maneira de inicializar o estado para LSTMs. Atualmente, eu apenas inicializo para todos os zeros. Realmente não consigo encontrar nada online sobre como inicializá-lo. Uma coisa que eu estava pensando em fazer é tornar o estado inicial um parâmetro treinável. Algum...
Quero fazer um RNST LSTM para previsão de séries temporais, mas alguns dos meus preditores são mensais e outros são diários. Algum conselho / exemplos sobre como configurar esta rede? A frequência das previsões é
Como muitos outros, eu achei os recursos aqui e aqui imensamente úteis para entender as células LSTM. Estou confiante de que entendo como os valores fluem e são atualizados, e estou confiante o suficiente para adicionar as mencionadas "conexões do olho mágico", etc. também. No meu exemplo, tenho...
Estou tentando usar um LSTM para previsão de séries temporais. Os dados são transmitidos uma vez por minuto, mas eu gostaria de prever uma hora à frente. Existem duas maneiras de pensar sobre isso: Agrupe os dados em dados horários, considerando a média a cada período de 60 minutos como um ponto...
O problema com o qual estou lidando é prever valores de séries temporais. Estou analisando uma série temporal por vez e, com base em, por exemplo, 15% dos dados de entrada, gostaria de prever seus valores futuros. Até agora me deparei com dois modelos: LSTM (memória de longo prazo; uma classe de...
Assuma a seguinte sequência dimensional 1: A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ... As cartas A, B, C, ..aqui representam eventos "comuns". Os símbolos #, $, %, ...aqui representam eventos 'especiais' O espaçamento temporal entre todos os eventos não é uniforme (de segundos a dias),...
Estou tentando entender a arquitetura das RNNs. Encontrei este tutorial que foi muito útil: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Especialmente esta imagem: Como isso se encaixa em uma rede de feed-forward? Essa imagem é apenas outro nó em cada
Minha rede neural recorrente (LSTM, resp. GRU) se comporta de uma maneira que não consigo explicar. O treinamento começa e treina bem (os resultados parecem muito bons) quando a precisão cai repentinamente (e a perda aumenta rapidamente) - métricas de treinamento e teste. Às vezes, a rede fica...
Suponha que eu esteja alimentando uma matriz 2D de forma (99,13) como entrada para uma camada LSTM. Estou tendo um número n de arquivos, onde cada um contém (99,13) vetores de tamanho. Decidi considerar 13 como o número de recursos e 99 como o timesteps. (Ao implementar com o Keras, adicionei a...
Não sei ao certo o que entendi da documentação oficial, que diz: Retorna: um par (saídas, estado) em que: outputs: O tensor de saída RNN. Se time_major == False(default), este será um Tensor em forma: [batch_size, max_time, cell.output_size]. Se time_major == True, este será um Tensor...
Gostaria de entender melhor por que o LSTM pode se lembrar de informações por um período mais longo do que a rede neural recorrente simples (baunilha / simples), refazendo um experimento do artigo Aprender Dependências de Longo Prazo com Descida Gradiente é Difícil por Bengio et al. 1994 . Veja as...