Comecei aprendendo sobre redes neurais com o tutorial neuralnetworksanddeeplearning dot.com. Em particular no capítulo 3, há uma seção sobre a função de entropia cruzada e define a perda de entropia cruzada como: C= - 1n∑x∑j( yjemumaeuj+ ( 1 - yj) em( 1 - aeuj)
Antecedentes: Estou estudando o capítulo 6 do Deep Learning de Ian Goodfellow e Yoshua Bengio e Aaron Courville. Na seção 6.2.2.2 (páginas 182 de 183, que pode ser vista aqui ), é motivado o uso de sigmóide na saída .P(y=1|x)P(y=1|x)P(y=1|x) Para resumir alguns dos materiais que deixe ser um...
Se processarmos, digamos, 10 exemplos em um lote, entendo que podemos somar a perda para cada exemplo, mas como a retropropagação funciona em relação à atualização dos pesos para cada exemplo? Por exemplo: Exemplo 1 -> perda = 2 Exemplo 2 -> perda = -2 Isso resulta em uma perda média de...
O recente progresso nas redes neurais é resumido por uma sequência de novas arquiteturas caracterizadas principalmente por sua crescente complexidade de projeto. De LeNet5 (1994) a AlexNet (2012), Overfeat (2013) e GoogleLeNet / Inception (2014) e assim por diante ... Existe alguma tentativa de...
Eu queria saber se, em algumas circunstâncias, é possível que a ANN funcione melhor se você remover algumas conexões com elas, como por exemplo: Construindo uma RNA, tomando duas RNAs A e B de várias camadas em paralelo (mesmos nós de entrada e saída) adicionando algumas conexões de "comunicação"...
Se eu tiver alguma topologia fixa não recorrente (DAG) (conjunto fixo de nós e arestas, mas o algoritmo de aprendizado puder variar o peso nas arestas) de neurônios sigmóides com neurônios de entrada que só podem receber cadeias em como entrada e conduz a uma saída (que gera um valor real que...
Por uma questão de exemplo, vamos supor que estamos construindo um estimador de idade, com base na imagem de uma pessoa. Abaixo, temos duas pessoas de terno, mas a primeira é claramente mais nova que a segunda. (fonte: tinytux.com ) Existem muitos recursos que implicam isso, por exemplo, a...
Estou lutando para fazer a conexão matemática entre uma rede neural e um modelo gráfico. Nos modelos gráficos, a ideia é simples: a distribuição de probabilidade é fatorada de acordo com as cliques no gráfico, com os potenciais sendo geralmente da família exponencial. Existe um raciocínio...
Não tenho certeza se isso é apropriado para este site, mas estou começando meu MSE em ciência da computação (bacharelado em matemática aplicada) e quero ter uma sólida experiência em aprendizado de máquina (provavelmente vou fazer um doutorado). Um dos meus subinteresses é redes neurais. Qual é...
Estou tentando usar o neuralnetpacote de R (documentação aqui ) para previsão. Aqui o que estou tentando fazer: library(neuralnet) x <- cbind(runif(50, min=1, max=500), runif(50, min=1, max=500)) y <- x[, 1] * x[, 2] train <- data.frame(x, y) n <- names(train) f <-...
Com base no que aprendi, usamos vários filtros em uma camada Conv de uma CNN para aprender diferentes detectores de recursos. Mas como esses filtros são aplicados de maneira semelhante (ou seja, deslizados e multiplicados pelas regiões da entrada), eles não aprenderiam os mesmos parâmetros durante...
Eu não acho que possa haver uma resposta para todos os modelos de aprendizado profundo. Quais dos modelos de aprendizagem profunda são paramétricos e quais não paramétricos e por
Estou tendo problemas para entender esta frase: A primeira arquitetura proposta é semelhante ao feedforward NNLM, onde a camada oculta não linear é removida e a camada de projeção é compartilhada por todas as palavras (não apenas pela matriz de projeção); assim, todas as palavras são projetadas...
Ao implementar um autoencoder com rede neural, a maioria das pessoas usará sigmóide como função de ativação. Podemos usar ReLU? (Como a ReLU não tem limite no limite superior, basicamente significa que a imagem de entrada pode ter um pixel maior que 1, diferente dos critérios restritos para o...
Estou tendo problemas para entender o modelo de ignorar o algoritmo Word2Vec. Em palavras-chave contínuas, é fácil ver como as palavras de contexto podem "se encaixar" na Rede Neural, uma vez que você as calcula a média depois de multiplicar cada uma das representações de codificação quentes com a...
Estou tentando usar uma rede neural para aproximar o valor de Q no aprendizado de Q, como em Perguntas sobre Q-Learning usando redes neurais . Conforme sugerido na primeira resposta, estou usando uma função de ativação linear para a camada de saída, enquanto ainda estou usando a função de ativação...
A ideia por trás da Rede Neural Recorrente (RNN) é clara para mim. Entendo da seguinte maneira: Temos uma sequência de observações ( ) (ou, em outras palavras, séries temporais multivariadas). Cada observação única é um vetor numérico dimensional. No modelo RNN, assumimos que a próxima observação é...
Estou usando o feed-forward NN. Eu entendo o conceito, mas minha pergunta é sobre pesos. Como você pode interpretá-los, ou seja, o que eles representam ou como podem ser destruídos (devido aos coeficientes de função)? Eu encontrei algo chamado "espaço de pesos", mas não tenho muita certeza do que...
Recentemente, vimos o surgimento da Rede Neural Residual, em que cada camada consiste em um módulo computacional e uma conexão de atalho que preserva a entrada na camada, como mostra a saída da i-ésima camada: A rede permite extrair recursos residuais e permite uma profundidade mais profunda, ao...
Eu estava lendo o documento de normalização em lote [1] e tinha uma seção em que é apresentado um exemplo, tentando mostrar por que a normalização deve ser feita com cuidado. Sinceramente, não consigo entender como o exemplo funciona e estou genuinamente muito curioso para entender que eles são tão...