Como um acompanhamento de Minha rede neural não consegue nem aprender a distância euclidiana , simplifiquei ainda mais e tentei treinar uma única ReLU (com peso aleatório) em uma única ReLU. Essa é a rede mais simples que existe e, ainda assim, metade do tempo em que falha na convergência. Se o...
Estou pensando em usar uma versão LSTM ( memória de curto prazo ) de uma rede neural recorrente (RNN) para modelar dados de séries temporais. À medida que o comprimento da sequência dos dados aumenta, a complexidade da rede aumenta. Estou, portanto, curioso que comprimento de sequências seria...
Entendo o raciocínio por trás da divisão dos dados em um conjunto de teste e um conjunto de validação. Também entendo que o tamanho da divisão dependerá da situação, mas geralmente variará de 50/50 a 90/10. Eu construí um RNN para corrigir a ortografia e começar com um conjunto de dados de frases...
Estou experimentando o algoritmo da máquina de aumento de gradiente através do caretpacote em R. Usando um pequeno conjunto de dados de admissões de faculdade, executei o seguinte código: library(caret) ### Load admissions dataset. ### mydata <-
Em que ponto começamos a classificar as redes neurais multicamadas como redes neurais profundas ou, de outra forma, 'Qual é o número mínimo de camadas em uma rede neural
Alguém pode me dizer como eu devo construir uma rede neural usando o método batch? Li que, no modo batch, para todas as amostras do conjunto de treinamento, calculamos os pesos de erro, delta e, portanto, delta para cada neurônio na rede e, em vez de atualizar imediatamente os pesos, os...
Quando implementei o mini gradiente de lote decente, apenas calculei a média dos gradientes de todos os exemplos no lote de treinamento. No entanto, notei que agora a taxa de aprendizado ideal é muito maior do que a do gradiente on-line decente. Minha intuição é que isso ocorre porque o gradiente...
Os lugares que eu tenho lido sobre a maldição da dimensionalidade explicam isso em conjunto com o kNN principalmente, e com os modelos lineares em geral. Eu vejo regularmente os principais executivos do Kaggle usando milhares de recursos no conjunto de dados que dificilmente tem 100 mil pontos de...
Qual é a derivada da função de ativação ReLU definida como: ReLU(x)=max(0,x)ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) E o caso especial em que há uma descontinuidade na função em
Estou tentando entender como as máquinas Boltzmann funcionam, mas não sei bem como os pesos são aprendidos e não consegui encontrar uma descrição clara. O seguinte está correto? (Além disso, seria bom apontar para qualquer boa explicação da máquina de Boltzmann.) Temos um conjunto de unidades...
Após uma pergunta já respondida ( Extraindo a importância do peso da rede de feed-forward de camada única ), procuro inferência sobre a relevância das entradas nas redes neurais. Considerando uma rede profunda, onde reconstruir a importância da entrada retrocedendo as camadas a partir do nó de...
Eu vi um termo "permutação invariável" versão da tarefa de reconhecimento de dígitos MNIST. O que isso
Eu implementei o Q-Learning conforme descrito em, http://web.cs.swarthmore.edu/~meeden/cs81/s12/papers/MarkStevePaper.pdf Para aprox. Q (S, A) Eu uso uma estrutura de rede neural como a seguir, Ativação sigmóide Entradas, número de entradas + 1 para neurônios de Ação (Todas as Entradas...
Se eu tenho uma rede neural convolucional (CNN), que possui cerca de 1.000.000 de parâmetros, quantos dados de treinamento são necessários (suponha que eu esteja fazendo descida estocástica do gradiente)? Existe alguma regra de ouro? Notas adicionais: Quando realizei descida de gradiente...
A estrutura desta questão é a seguinte: a princípio, forneço o conceito de aprendizagem por conjuntos , além de fornecer uma lista de tarefas de reconhecimento de padrões , depois apresento exemplos de algoritmos de aprendizagem por conjuntos e, finalmente, apresento minha pergunta. Aqueles que não...
Digamos que estou escrevendo um algoritmo para a construção de um autoencoder empilhado de 2 camadas e uma rede neural de 2 camadas. Eles são as mesmas coisas ou diferença? O que eu entendo é que, quando eu construo um codificador automático empilhado, eu construo camada por camada. Para rede...
O Tensorflow tem um tutorial de exemplo sobre a classificação do CIFAR-10 . No tutorial, a perda média de entropia cruzada no lote é minimizada. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits from...
O teorema da aproximação universal é um resultado bastante famoso para redes neurais, basicamente afirmando que, sob algumas suposições, uma função pode ser uniformemente aproximada por uma rede neural com precisão. Existe algum resultado análogo que se aplica às redes neurais...
Todos os exemplos que encontrei usando crenças profundas ou redes neurais convolucionais os usam para classificação de imagens, detecção de chatacter ou reconhecimento de fala. As redes neurais profundas também são úteis para tarefas clássicas de regressão, onde os recursos não são estruturados...
Nas redes neurais convolucionais (CNN), a matriz de pesos em cada etapa obtém suas linhas e colunas invertidas para obter a matriz do núcleo, antes de prosseguir com a convolução. Isso é explicado em uma série de vídeos de Hugo Larochelle aqui : A computação dos mapas ocultos corresponderia a...