O que o número de filtros em uma camada de convolução transmite? Como esse número afeta o desempenho ou a qualidade da arquitetura? Quero dizer, devemos sempre optar por um número maior de filtros? o que é bom deles? e Como as pessoas atribuem diferentes números de filtros para diferentes camadas?...
Antecedentes: Muitas pesquisas modernas nos últimos ~ 4 anos (pós- alexnet ) parecem ter deixado de usar o pré-treinamento generativo para redes neurais para obter resultados de classificação de ponta. Por exemplo, os principais resultados para o mnist aqui incluem apenas 2 artigos dos 50...
Eu tenho lido muito sobre redes neurais convolutivas e queria saber como elas evitam o problema de gradiente que desaparece. Sei que redes de crenças profundas empilham codificadores automáticos de nível único ou outras redes rasas pré-treinadas e, portanto, podem evitar esse problema, mas não sei...
Estou tentando aprender a usar redes neurais. Eu estava lendo este tutorial . Depois de ajustar uma rede neural em uma série temporal usando o valor em para prever o valor em t + 1, o autor obtém o seguinte gráfico, onde a linha azul é a série temporal, o verde é a previsão nos dados do trem, o...
No aprendizado de máquina básico, aprendemos as seguintes "regras práticas": a) o tamanho dos seus dados deve ser pelo menos 10 vezes o tamanho da dimensão VC do seu conjunto de hipóteses. b) uma rede neural com conexões N tem uma dimensão VC de aproximadamente N. Então, quando uma rede neural...
Estou pensando em usar uma versão LSTM ( memória de curto prazo ) de uma rede neural recorrente (RNN) para modelar dados de séries temporais. À medida que o comprimento da sequência dos dados aumenta, a complexidade da rede aumenta. Estou, portanto, curioso que comprimento de sequências seria...
Estou procurando fazer um projeto de reconhecimento óptico de caracteres (OCR). Depois de fazer algumas pesquisas, encontrei uma arquitetura que parece interessante: CNN + RNN + CTC. Eu estou familiarizado com redes neurais complicadas (CNN) e redes neurais recorrentes (RNN), mas o que é...
http://www.deeplearningbook.org/contents/ml.html página 116 explica o erro de bayes como abaixo O modelo ideal é um oráculo que simplesmente conhece a verdadeira distribuição de probabilidade que gera os dados. Mesmo esse modelo ainda apresentará algum erro em muitos problemas, porque ainda pode...
Não encontrei uma resposta satisfatória para isso no google . Obviamente, se os dados que tenho são da ordem de milhões, então o aprendizado profundo é o caminho. E li que, quando não tenho big data, talvez seja melhor usar outros métodos no aprendizado de máquina. A razão apresentada é...
Em que ponto começamos a classificar as redes neurais multicamadas como redes neurais profundas ou, de outra forma, 'Qual é o número mínimo de camadas em uma rede neural
Estou estudando este tutorial sobre auto-codificadores variacionais de Carl Doersch . Na segunda página, afirma: Um dos frameworks mais populares é o Autoencoder Variacional [1, 3], o assunto deste tutorial. As suposições deste modelo são fracas e o treinamento é rápido via retropropagação. Os...
À medida que nos aprofundamos na literatura das Redes Neurais , conseguimos identificar outros métodos com topologias neuromórficas (arquiteturas semelhantes à "Rede Neural"). E não estou falando do Teorema da Aproximação Universal . Exemplos são dados abaixo. Então, isso me faz pensar: qual é a...
Se eu tenho uma rede neural convolucional (CNN), que possui cerca de 1.000.000 de parâmetros, quantos dados de treinamento são necessários (suponha que eu esteja fazendo descida estocástica do gradiente)? Existe alguma regra de ouro? Notas adicionais: Quando realizei descida de gradiente...
Digamos que estou escrevendo um algoritmo para a construção de um autoencoder empilhado de 2 camadas e uma rede neural de 2 camadas. Eles são as mesmas coisas ou diferença? O que eu entendo é que, quando eu construo um codificador automático empilhado, eu construo camada por camada. Para rede...
Isso é feito com referência ao documento Localização eficiente de objetos usando redes convolucionais e, pelo que entendi, a desistência é implementada em 2D. Após ler o código de Keras sobre como o Spatial 2D Dropout é implementado, basicamente uma máscara binária aleatória de forma [batch_size,...
Todos os exemplos que encontrei usando crenças profundas ou redes neurais convolucionais os usam para classificação de imagens, detecção de chatacter ou reconhecimento de fala. As redes neurais profundas também são úteis para tarefas clássicas de regressão, onde os recursos não são estruturados...
A literatura de aprendizado profundo está cheia de truques inteligentes com o uso de taxas de aprendizado não constantes na descida do gradiente. Coisas como decaimento exponencial, RMSprop, Adagrad etc. são fáceis de implementar e estão disponíveis em todos os pacotes de aprendizado profundo, mas...
Particularmente no contexto das competições de kaggle, notei que o desempenho do modelo se refere à seleção / engenharia de recursos. Embora eu possa entender completamente por que isso acontece quando se lida com os algoritmos de ML mais convencionais / da velha escola, não vejo por que esse seria...
Existe alguma literatura que examine a escolha do tamanho de minibatch ao realizar a descida do gradiente estocástico? Na minha experiência, parece ser uma escolha empírica, geralmente encontrada por meio de validação cruzada ou usando regras práticas variadas. É uma boa ideia aumentar lentamente...
É possível ter pesos negativos (após épocas suficientes) para redes neurais convolucionais profundas quando usamos ReLU para todas as camadas de