Estou tentando entender como o rnn pode ser usado para prever sequências, trabalhando com um exemplo simples. Aqui está minha rede simples, consistindo em uma entrada, um neurônio oculto e uma saída: O neurônio oculto é a função sigmóide e a saída é considerada uma saída linear simples. Então,...
Eu sou novo no aprendizado profundo, portanto essa pode ser uma pergunta trivial. Mas estou me perguntando por que o aprendizado profundo (ou rede neural) não funciona muito bem em pequenos dados rotulados. Quaisquer que sejam os trabalhos de pesquisa que eu tenha lido, seus conjuntos de dados são...
https://www.tensorflow.org/ Todos os projetos do TensorFlow que eu vi no GitHub implementam algum tipo de modelo de rede neural. Dado que o TensorFlow é uma melhoria em relação ao DAG (não é mais acíclico), eu queria saber se algumas deficiências inerentes o tornam inadequado para o modelo geral...
Eu li os ótimos comentários sobre como lidar com valores ausentes antes de aplicar o SVD, mas gostaria de saber como ele funciona com um exemplo simples: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Dada a matriz acima, se eu remover os valores de NA, acabarei...
Como um aquecimento com redes neurais recorrentes, estou tentando prever uma onda senoidal de outra onda senoidal de outra frequência. Meu modelo é um RNN simples, seu passe para frente pode ser expresso da seguinte
É possível obter resultados de última geração usando apenas a propagação traseira (sem pré-treinamento )? Ou será que todas as abordagens de quebra de recordes usam alguma forma de pré-treinamento? A propagação traseira é boa o
Encontrei em algum lugar que o conjunto de testes não deve ser usado como um conjunto de validação. Por quê? O conjunto de validação é acionado quando os parâmetros do modelo são fixados e o aprendizado ocorre apenas através do backprop no lote de treinamento. Então, por que não posso usar dados...
Esta pergunta é referente ao documento Deepmind sobre DDPG: https://arxiv.org/pdf/1509.02971v5.pdf . A maioria (todas?) Das implementações do algoritmo DDPG que eu vi computam a atualização do gradiente na rede do ator por
Eu sou bastante novo no reconhecimento de dígitos e notei que muitos tutoriais usam a classificação SVM, por
Pelo que entendi, as redes neurais profundas estão realizando o "aprendizado de representação", colocando as camadas em conjunto. Isso permite aprender estruturas dimensionais muito altas nos recursos. Obviamente, é um modelo paramétrico com números fixos de parâmetros, portanto, possui a limitação...
No artigo da rede neural totalmente convolucional , os autores mencionam tanto o treinamento inteligente quanto o treinamento totalmente convolucional. Meu entendimento para a construção do conjunto de treinamento é o seguinte: Dada uma M*Mimagem, extraia as sub-imagens com N*N, where ( N<M)....
Eu costumava treinar meu modelo na minha máquina local, onde a memória é suficiente apenas para 10 exemplos por lote. No entanto, quando eu migrei meu modelo para a AWS e usei uma GPU maior (Tesla K80), eu poderia acomodar um tamanho de lote de 32. No entanto, todos os modelos da AWS tiveram um...
Tenho a seguinte configuração para um projeto de pesquisa de Finanças / Aprendizado de Máquina na minha universidade: estou aplicando uma Rede Neural (Profunda) (MLP) com a seguinte estrutura em Keras / Theano para distinguir estoques com desempenho superior (etiqueta 1) dos estoques com desempenho...
Eu estava lendo o modelo word2vec padrão / famoso e de acordo com as notas do standord para cs224n, a função objetivo muda de: Joriginal=−∑j=0,j≠m2mu⊤c−m+jvc+2mlog(∑k=1|V|exp(u⊤kvc))Joriginal=−∑j=0,j≠m2muc−m+j⊤vc+2mlog(∑k=1|V|exp(uk⊤vc))J_{original} = -\sum^{2m}_{j=0,j\neq m} u^\top_{c-m+j} v_c +...
No aprendizado profundo e na aplicação à visão computacional, é possível dizer que tipo de recursos esses dois tipos de extrato de pooling? Por exemplo, é possível dizer que max pool extrai arestas? Podemos dizer algo semelhante em relação ao agrupamento médio? PS fique à vontade para recomendar...
TL; DR (muito longo, não leu): Estou trabalhando em um problema de previsão de séries temporais, que formulo como um problema de regressão usando o Deep Learning (keras). Quero otimizar a correlação de Pearson entre minha previsão e os rótulos verdadeiros. Estou confuso pelo fato de que o uso do...
Se as redes neurais profundas são consideradas aproximadores de funções universais, a expansão de bases é realmente necessária? Ou isso seria específico do caso? Por exemplo, se alguém tiver três variáveis X quantitativas, haveria alguma vantagem em expandir o número de variáveis introduzindo...
Li este artigo de Michael Honiball (criador de Spacy), no qual ele fala sobre o problema do 'Esquecimento Catastrófico' . Aqui, ele diz que, quando queremos ajustar um modelo pré-treinado para adicionar um novo rótulo ou corrigir alguns erros específicos, ele pode introduzir o problema do...
Atualmente, o aprendizado profundo é um tema cada vez mais popular. Quais são as principais premissas que tornam falta o aprendizado profundo em alguns conjuntos de dados. Ex: tem bom desempenho em conjuntos de dados
Não sei ao certo o que entendi da documentação oficial, que diz: Retorna: um par (saídas, estado) em que: outputs: O tensor de saída RNN. Se time_major == False(default), este será um Tensor em forma: [batch_size, max_time, cell.output_size]. Se time_major == True, este será um Tensor...