Estou treinando uma rede neural usando i) SGD e ii) Adam Optimizer. Ao usar o SGD normal, recebo uma curva suave de perda de treinamento versus iteração , como visto abaixo (o vermelho). No entanto, quando usei o Adam Optimizer, a curva de perda de treinamento tem alguns picos. Qual é a explicação...
Os lugares que eu tenho lido sobre a maldição da dimensionalidade explicam isso em conjunto com o kNN principalmente, e com os modelos lineares em geral. Eu vejo regularmente os principais executivos do Kaggle usando milhares de recursos no conjunto de dados que dificilmente tem 100 mil pontos de...
À medida que nos aprofundamos na literatura das Redes Neurais , conseguimos identificar outros métodos com topologias neuromórficas (arquiteturas semelhantes à "Rede Neural"). E não estou falando do Teorema da Aproximação Universal . Exemplos são dados abaixo. Então, isso me faz pensar: qual é a...
Estou experimentando o algoritmo da máquina de aumento de gradiente através do caretpacote em R. Usando um pequeno conjunto de dados de admissões de faculdade, executei o seguinte código: library(caret) ### Load admissions dataset. ### mydata <-
Durante o treinamento de um classificador binário de rede neural simples, recebo um alto valor de perda usando entropia cruzada. Apesar disso, o valor da precisão no conjunto de validação é bastante bom. Isso tem algum significado? Não existe uma correlação estrita entre perda e precisão? Tenho no...
Quando implementei o mini gradiente de lote decente, apenas calculei a média dos gradientes de todos os exemplos no lote de treinamento. No entanto, notei que agora a taxa de aprendizado ideal é muito maior do que a do gradiente on-line decente. Minha intuição é que isso ocorre porque o gradiente...
Eu estava lendo sobre o otimizador de Adam para o Deep Learning e me deparei com a seguinte frase no novo livro Deep Learning de Begnio, Goodfellow e Courtville: Adam inclui correções de viés nas estimativas dos momentos de primeira ordem (o termo momentum) e dos momentos de segunda ordem (sem...
Qual é a derivada da função de ativação ReLU definida como: ReLU(x)=max(0,x)ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) E o caso especial em que há uma descontinuidade na função em
Em que ponto começamos a classificar as redes neurais multicamadas como redes neurais profundas ou, de outra forma, 'Qual é o número mínimo de camadas em uma rede neural
Não encontrei uma resposta satisfatória para isso no google . Obviamente, se os dados que tenho são da ordem de milhões, então o aprendizado profundo é o caminho. E li que, quando não tenho big data, talvez seja melhor usar outros métodos no aprendizado de máquina. A razão apresentada é...
Estou tentando entender a função de perda do Yolo
Eu construí algumas redes neurais (MLP (totalmente conectadas), Elman (recorrente)) para tarefas diferentes, como jogar Pong, classificar dígitos manuscritos e outras coisas ... Além disso, tentei criar algumas primeiras redes neurais convolucionais, por exemplo, para classificar notas manuscritas...
No aprendizado de máquina básico, aprendemos as seguintes "regras práticas": a) o tamanho dos seus dados deve ser pelo menos 10 vezes o tamanho da dimensão VC do seu conjunto de hipóteses. b) uma rede neural com conexões N tem uma dimensão VC de aproximadamente N. Então, quando uma rede neural...
Estou pensando em usar uma versão LSTM ( memória de curto prazo ) de uma rede neural recorrente (RNN) para modelar dados de séries temporais. À medida que o comprimento da sequência dos dados aumenta, a complexidade da rede aumenta. Estou, portanto, curioso que comprimento de sequências seria...
Entendo o raciocínio por trás da divisão dos dados em um conjunto de teste e um conjunto de validação. Também entendo que o tamanho da divisão dependerá da situação, mas geralmente variará de 50/50 a 90/10. Eu construí um RNN para corrigir a ortografia e começar com um conjunto de dados de frases...
Estou tentando aprender a usar redes neurais. Eu estava lendo este tutorial . Depois de ajustar uma rede neural em uma série temporal usando o valor em para prever o valor em t + 1, o autor obtém o seguinte gráfico, onde a linha azul é a série temporal, o verde é a previsão nos dados do trem, o...
Alguém pode me dizer como eu devo construir uma rede neural usando o método batch? Li que, no modo batch, para todas as amostras do conjunto de treinamento, calculamos os pesos de erro, delta e, portanto, delta para cada neurônio na rede e, em vez de atualizar imediatamente os pesos, os...
Como um acompanhamento de Minha rede neural não consegue nem aprender a distância euclidiana , simplifiquei ainda mais e tentei treinar uma única ReLU (com peso aleatório) em uma única ReLU. Essa é a rede mais simples que existe e, ainda assim, metade do tempo em que falha na convergência. Se o...
Após uma pergunta já respondida ( Extraindo a importância do peso da rede de feed-forward de camada única ), procuro inferência sobre a relevância das entradas nas redes neurais. Considerando uma rede profunda, onde reconstruir a importância da entrada retrocedendo as camadas a partir do nó de...
Eu implementei o Q-Learning conforme descrito em, http://web.cs.swarthmore.edu/~meeden/cs81/s12/papers/MarkStevePaper.pdf Para aprox. Q (S, A) Eu uso uma estrutura de rede neural como a seguir, Ativação sigmóide Entradas, número de entradas + 1 para neurônios de Ação (Todas as Entradas...