em quase todos os exemplos de código que eu já vi de um VAE, as funções de perda são definidas da seguinte forma (este é o código do tensorflow, mas eu já vi similar para theano, tocha etc.) Também é para uma convnet, mas também não é muito relevante , afeta apenas os eixos em que as somas são...
Eu li aqui o seguinte: As saídas sigmóides não são centralizadas em zero . Isso é indesejável, uma vez que neurônios em camadas posteriores de processamento em uma rede neural (mais sobre isso em breve) receberiam dados que não são centralizados em zero. Isto tem implicações sobre a dinâmica...
Estou interessado em regressão com redes neurais. Redes neurais com zero nós ocultos + conexões de camada de salto são modelos lineares. E as mesmas redes neurais, mas com nós ocultos? Eu estou querendo saber qual seria o papel das conexões skip-layer? Intuitivamente, eu diria que, se você...
Eu quero usar o aprendizado profundo no meu projeto. Examinei alguns artigos e me ocorreu uma pergunta: existe alguma diferença entre rede neural de convolução e aprendizado profundo? Essas coisas são iguais ou existem grandes diferenças e qual é a
Fechado . Esta questão é baseada em opiniões . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela possa ser respondida com fatos e citações editando esta postagem . Fechado há 2 anos . Problema...
Por que as funções de ativação de unidades lineares retificadas (ReLU) são consideradas não lineares? f( x ) = max ( 0 , x )f(x)=max(0 0,x) f(x) = \max(0,x) Eles são lineares quando a entrada é positiva e, do meu entendimento, para desbloquear o poder representativo das redes profundas, as...
Quais são as vantagens, por que alguém usaria vários LSTMs, empilhados lado a lado, em uma rede profunda? Estou usando um LSTM para representar uma sequência de entradas como uma única entrada. Então, uma vez que eu tenho essa única representação - por que eu a repassaria novamente? Estou...
Estou tentando entender melhor as redes neurais convolucionais melhor escrevendo código Python que não depende de bibliotecas (como Convnet ou TensorFlow), e estou ficando preso na literatura sobre como escolher valores para a matriz do kernel, quando realizando uma convolução em uma imagem....
De acordo com esta e esta resposta, os auto-codificadores parecem ser uma técnica que utiliza redes neurais para redução de dimensão. Eu gostaria de saber adicionalmente o que é um autoencoder variacional (suas principais diferenças / benefícios em relação aos autoencoders "tradicionais") e também...
Em Alex Krizhevsky, et al. Na classificação Imagenet com redes neurais convolucionais profundas, eles enumeram o número de neurônios em cada camada (veja o diagrama abaixo). A entrada da rede é 150.528-dimensional, e o número de neurônios nas camadas restantes da rede é dado por...
Eu estava lendo sobre o otimizador de Adam para o Deep Learning e me deparei com a seguinte frase no novo livro Deep Learning de Bengio, Goodfellow e Courville: Adam é geralmente considerado como sendo bastante robusto para a escolha de hiper parâmetros, embora a taxa de aprendizado às vezes...
Mecanismos de atenção têm sido utilizados em vários trabalhos de Deep Learning nos últimos anos. Ilya Sutskever, chefe de pesquisa da Open AI, elogiou-os com entusiasmo: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello, da Universidade de Purdue, afirmou que...
Então, eu estou tentando treinar imagens de humanos usando redes convolucionais. Leio os jornais ( Paper1 e paper2 ) e esta ligação stackoverflow , mas eu não estou certo que eu sou entender a estrutura das redes (não é bem definida nos jornais). Questões: Posso fazer com que minha entrada seja...
Existem bons documentos que abordam algumas maneiras metódicas de escolher as dimensões dos filtros, agrupar as unidades e determinar o número de camadas
Trabalho com redes neurais convolucionais (CNNs) há algum tempo, principalmente em dados de imagem para segmentação semântica / segmentação de instância. Eu muitas vezes visualizei o softmax da saída de rede como um "mapa de calor" para ver o quão alto são as ativações por pixel para uma...
Estou ciente de que houve muitos avanços no que diz respeito ao reconhecimento de imagens, classificação de imagens etc. com redes neurais profundas e convolucionais. Mas se eu treinar uma rede, digamos, em imagens PNG, funcionará apenas para imagens tão codificadas? Que outras propriedades da...
Eu estava ouvindo uma palestra e vi este slide: Quão verdadeiro é
Definimos uma arquitetura de gargalo como o tipo encontrado no artigo da ResNet , em que [duas camadas de conv3 3x3] são substituídas por [uma conv de 1x1, uma conv de 3x3 e outra conv. De 1x1]. Entendo que as camadas 1x1 conv são usadas como uma forma de redução de dimensão (e restauração),...
Fundo: Sim, a máquina de Boltzmann restrita (RBM) pode ser usada para iniciar os pesos de uma rede neural. Também PODE ser usado de maneira "camada por camada" para construir uma rede profunda de crenças (isto é, treinar uma ésima camada na parte superior da -ésima camada e depois treinar a ésima...
Bem, recentemente, eu estava trabalhando no aprendizado de algoritmos de impulso, como adaboost, aumento de gradiente, e eu sabia que o mais comumente usado é o árvores. Eu realmente quero saber se existem alguns exemplos bem-sucedidos recentes (refiro-me a alguns artigos ou artigos) para o uso de...