Perguntas com a marcação «deep-learning»

Referindo-se às notas do curso de Stanford sobre Redes neurais convolucionais para reconhecimento visual , um parágrafo diz: "Infelizmente, as unidades ReLU podem ser frágeis durante o treinamento e podem" morrer ". Por exemplo, um grande gradiente que flui através de um neurônio ReLU pode fazer...

A principal diferença entre uma GRU e um LSTM é que uma GRU possui duas portas ( redefinir e atualizar portas), enquanto uma LSTM possui três portas (portas de entrada , saída e esquecimento ). Por que usamos GRU quando claramente temos mais controle sobre a rede através do modelo LSTM (como temos...

Atualmente, estou trabalhando na implementação da descida estocástica de gradiente SGD, para redes neurais usando propagação traseira, e enquanto eu entendo seu objetivo, tenho algumas perguntas sobre como escolher valores para a taxa de aprendizado. A taxa de aprendizado está relacionada à forma...

Ao escrever um artigo / fazer uma apresentação sobre um tópico sobre redes neurais, geralmente se visualiza a arquitetura das redes. Quais são as maneiras boas / simples de visualizar arquiteturas comuns

Eu construí meu modelo. Agora eu quero desenhar o diagrama da arquitetura de rede para o meu trabalho de pesquisa. O exemplo é mostrado

O problema com o qual estou lidando é prever valores de séries temporais. Estou analisando uma série temporal por vez e, com base em, por exemplo, 15% dos dados de entrada, gostaria de prever seus valores futuros. Até agora me deparei com dois modelos: LSTM (memória de longo prazo; uma classe de...

Eu sabia que a Residual Network (ResNet) tornou popular a inicialização normal de He. No ResNet, a inicialização normal é usada , enquanto a primeira camada usa a inicialização uniforme. Examinei os artigos da ResNet e os artigos "Investigando profundamente os retificadores" (artigo de...

Quando comecei com redes neurais artificiais (NN), pensei que teria que combater o excesso de ajustes como o principal problema. Mas, na prática, nem consigo que meu NN ultrapasse a barreira da taxa de erro de 20%. Eu não posso nem bater minha pontuação na floresta aleatória! Estou buscando...

Quantos parâmetros possui um único LSTM empilhado? O número de parâmetros impõe um limite inferior ao número de exemplos de treinamento necessários e também influencia o tempo de treinamento. Portanto, conhecer o número de parâmetros é útil para treinar modelos usando

estiveram lendo um pouco sobre LSTM e seu uso para séries temporais e tem sido interessante, mas difícil ao mesmo tempo. Uma coisa que tive dificuldades em entender é a abordagem para adicionar recursos adicionais ao que já é uma lista de recursos de séries temporais. Supondo que você tenha seu...

Costumo ler que, no caso dos modelos de Aprendizado Profundo, a prática usual é aplicar mini-lotes (geralmente pequenos, 32/64) em várias épocas de treinamento. Eu realmente não consigo entender a razão por trás disso. A menos que eu esteja enganado, o tamanho do lote é o número de instâncias de...

Estou prestes a treinar uma grande rede LSTM com 2 a 3 milhões de artigos e estou enfrentando erros de memória (uso o AWS EC2 g2x2large). Eu descobri que uma solução é reduzir o batch_size. No entanto, não tenho certeza se esse parâmetro está relacionado apenas a problemas de eficiência de memória...

Estou tendo problemas para entender a diferença entre equivariante para tradução e invariante para tradução . No livro Deep Learning . MIT Press, 2016 (I. Goodfellow, A. Courville e Y. Bengio), pode-se encontrar nas redes convolucionais: [...] a forma específica de compartilhamento de parâmetros...

Costumava-se para os usuários de diferentes comunidades citar coisas engraçadas sobre seus campos. Pode ser divertido compartilhar suas coisas engraçadas sobre Machine Learning, Deep Learning, Data Science e as coisas que você enfrenta todos os

Suponha que eu crie um NN para classificação. A última camada é uma camada densa com ativação softmax. Eu tenho cinco classes diferentes para classificar. Suponha que, para um único exemplo de treinamento, true labelseja [1 0 0 0 0]enquanto estiverem as previsões [0.1 0.5 0.1 0.1 0.2]. Como eu...

Como você pode programar na biblioteca keras (ou tensorflow) para particionar o treinamento em várias GPUs? Digamos que você esteja em uma instância do Amazon ec2 com 8 GPUs e que gostaria de usá-los para treinar mais rapidamente, mas seu código é apenas para uma única CPU ou...

Eu li sobre o NCE (uma forma de amostragem de candidatos) dessas duas fontes: Gravação de Tensorflow Papel original Alguém pode me ajudar com o seguinte: Uma explicação simples de como o NCE funciona (achei difícil analisar e entender o que foi dito acima, então seria ótimo algo intuitivo que...

Então, recentemente, há um artigo sobre Normalização de Camadas . Há também uma implementação no Keras. Mas lembro-me de que existem artigos intitulados Normalização de Lote Recorrente (Cooijmans, 2016) e Redes Neurais Recorrentes Normalizadas em Lote (Laurent, 2015). Qual é a diferença entre...

Por que usar o softmax em oposição à normalização padrão? Na área de comentários da resposta principal desta pergunta, @Kilian Batzner levantou duas perguntas que também me confundem bastante. Parece que ninguém dá uma explicação, exceto os benefícios numéricos. Eu recebo os motivos para usar a...

Eu tenho um problema de grande volume de dados com um grande conjunto de dados (por exemplo, 50 milhões de linhas e 200 colunas). O conjunto de dados consiste em cerca de 100 colunas numéricas e 100 colunas categóricas e uma coluna de resposta que representa um problema de classe binária. A...