Uma rede neural recorrente (RNN) é uma classe de rede neural artificial em que as conexões entre as unidades formam um ciclo direcionado.
Qual é a diferença entre uma rede neural de feed-forward e recorrente ? Por que você usaria um sobre o outro? Existem outras topologias de rede?
Eu estudo os LSTMs há um tempo. Eu entendo em alto nível como tudo funciona. No entanto, ao implementá-los usando o Tensorflow, notei que o BasicLSTMCell requer um número de unidades (ou seja num_units) parâmetro. A partir desta explicação minuciosa dos LSTMs, concluí que uma única unidade LSTM é...
Recentemente, li que uma rede neural recorrente pode se aproximar de qualquer algoritmo. Então, minha pergunta é: o que isso significa exatamente e você pode me dar uma referência onde isso é
Quais são as vantagens, por que alguém usaria vários LSTMs, empilhados lado a lado, em uma rede profunda? Estou usando um LSTM para representar uma sequência de entradas como uma única entrada. Então, uma vez que eu tenho essa única representação - por que eu a repassaria novamente? Estou...
Mecanismos de atenção têm sido utilizados em vários trabalhos de Deep Learning nos últimos anos. Ilya Sutskever, chefe de pesquisa da Open AI, elogiou-os com entusiasmo: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello, da Universidade de Purdue, afirmou que...
Esta pergunta já tem respostas aqui : Como a mudança na função de custo pode ser positiva? (1 resposta) O que devo fazer quando minha rede neural não aprende? (5 respostas) Fechado no mês passado . Estou treinando um modelo (Rede Neural Recorrente) para...
Estou tentando entender diferentes arquiteturas de redes neurais recorrentes (RNN) a serem aplicadas a dados de séries temporais e estou ficando um pouco confuso com os diferentes nomes que são frequentemente usados ao descrever RNNs. A estrutura da Memória de Longo Prazo (LSTM) e da Unidade...
Recentemente, fiquei interessado em LSTMs e fiquei surpreso ao saber que os pesos são compartilhados ao longo do tempo. Sei que, se você compartilhar os pesos ao longo do tempo, as seqüências de tempo de entrada poderão ter um comprimento variável. Com pesos compartilhados, você tem muito menos...
O RNN pode ser usado para previsão ou mapeamento de sequência para sequência. Mas como a RNN pode ser usada para classificação? Quero dizer, damos a uma sequência inteira um
Estou passando pelo seguinte blog na rede neural LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ O autor reformula o vetor de entrada X como [amostras, etapas de tempo, recursos] para diferentes configurações de LSTMs. O autor...
Estou tentando entender a aplicação de alto nível das RNNs para rotular sequências via (entre outros) o artigo de Graves, de 2005, sobre classificação de fonemas. Para resumir o problema: Temos um grande conjunto de treinamento que consiste em arquivos de áudio (de entrada) de frases únicas e...
Estou procurando fazer um projeto de reconhecimento óptico de caracteres (OCR). Depois de fazer algumas pesquisas, encontrei uma arquitetura que parece interessante: CNN + RNN + CTC. Eu estou familiarizado com redes neurais complicadas (CNN) e redes neurais recorrentes (RNN), mas o que é...
Em uma rede neural recorrente, você costuma encaminhar a propagação por várias etapas de tempo, "desenrolar" a rede e depois propagá-la pela sequência de entradas. Por que você não atualiza apenas os pesos após cada etapa individual da sequência? (o equivalente a usar um comprimento de truncamento...
Eu tenho um conhecimento básico de como as RNNs (e, em particular, com as unidades LSTMs) funcionam. Tenho uma idéia pictórica da arquitetura de uma unidade LSTM, que é uma célula e alguns portões, que regulam o fluxo de valores. No entanto, aparentemente, eu não entendi completamente como o LSTM...
Quais problemas de entrada seqüencial são mais adequados para cada um? A dimensionalidade da entrada determina qual é a melhor correspondência? Os problemas que requerem "memória mais longa" são mais adequados para uma RNN LSTM, enquanto os problemas com padrões de entrada cíclicos (mercado de...
RNNs são notavelmente bons para capturar a dependência de tempo de dados seqüenciais. No entanto, o que acontece quando os elementos da sequência não são igualmente espaçados no tempo? Por exemplo, a primeira entrada na célula LSTM acontece na segunda-feira, depois não há dados de terça a...
A ideia por trás da Rede Neural Recorrente (RNN) é clara para mim. Entendo da seguinte maneira: Temos uma sequência de observações ( ) (ou, em outras palavras, séries temporais multivariadas). Cada observação única é um vetor numérico dimensional. No modelo RNN, assumimos que a próxima observação é...
Eu uso a rede LSTM em Keras. Durante o treinamento, a perda varia muito, e eu não entendo por que isso aconteceria. Aqui está o NN que eu estava usando inicialmente: E aqui estão a perda e a precisão durante o treinamento: (Observe que a precisão chega a 100% eventualmente, mas são necessárias...
Quero fazer um RNST LSTM para previsão de séries temporais, mas alguns dos meus preditores são mensais e outros são diários. Algum conselho / exemplos sobre como configurar esta rede? A frequência das previsões é
Uso RNN bidirecional para detectar um evento de ocorrência desequilibrada. A classe positiva é 100 vezes menos que a classe negativa. Embora nenhum uso de regularização eu possa obter 100% de precisão no conjunto de trens e 30% no conjunto de validação. Ativei a regularização de l2 e o resultado é...