Redes neurais feedforward treinadas para reconstruir suas próprias contribuições. Normalmente, uma das camadas ocultas é um "gargalo", levando à interpretação do codificador> decodificador.
Recentemente, tenho lido sobre aprendizagem profunda e estou confuso sobre os termos (ou digamos, tecnologias). Qual é a diferença entre Redes neurais convolucionais (CNN), Máquinas Boltzmann restritas (RBM) e Codificadores
Como funciona o truque de reparameterização para auto-codificadores variacionais (VAE)? Existe uma explicação intuitiva e fácil sem simplificar a matemática subjacente? E por que precisamos do
O PCA e o autoencoder podem reduzir a demension, então, qual é a diferença entre eles? Em que situação devo usar um sobre o
A codificação esparsa é definida como a aprendizagem de um conjunto excessivo de vetores básicos para representar vetores de entrada (<- por que queremos isso). Quais são as diferenças entre codificação esparsa e autoencoder? Quando usaremos a codificação esparsa e o
Alguém viu alguma literatura sobre pré-treinamento em redes neurais convolucionais profundas? Vi apenas pré-treinamento não supervisionado em máquinas de autoencoder ou boltzman
Hinton e Salakhutdinov, em Reduzindo a dimensionalidade dos dados com redes neurais, a Science 2006 propôs um PCA não linear através do uso de um autoencoder profundo. Eu tentei construir e treinar um autoencoder PCA com Tensorflow várias vezes, mas nunca consegui obter melhores resultados do que o...
em quase todos os exemplos de código que eu já vi de um VAE, as funções de perda são definidas da seguinte forma (este é o código do tensorflow, mas eu já vi similar para theano, tocha etc.) Também é para uma convnet, mas também não é muito relevante , afeta apenas os eixos em que as somas são...
Eu tenho 50.000 imagens como estas duas: Eles representam gráficos de dados. Como eu queria extrair recursos dessas imagens, usei o código de codificador automático fornecido pela Theano (deeplearning.net). O problema é que esses auto-codificadores parecem não aprender nenhum recurso. Eu...
De acordo com esta e esta resposta, os auto-codificadores parecem ser uma técnica que utiliza redes neurais para redução de dimensão. Eu gostaria de saber adicionalmente o que é um autoencoder variacional (suas principais diferenças / benefícios em relação aos autoencoders "tradicionais") e também...
Então, eu estou tentando treinar imagens de humanos usando redes convolucionais. Leio os jornais ( Paper1 e paper2 ) e esta ligação stackoverflow , mas eu não estou certo que eu sou entender a estrutura das redes (não é bem definida nos jornais). Questões: Posso fazer com que minha entrada seja...
Entendo a estrutura básica do autoencoder variacional e do autoencoder normal (determinístico) e a matemática por trás deles, mas quando e por que eu preferiria um tipo de autoencoder ao outro? Tudo o que posso pensar é que a distribuição prévia de variáveis latentes do autoencoder variacional...
Estou experimentando um pouco de auto-codificadores e, com o tensorflow, criei um modelo que tenta reconstruir o conjunto de dados MNIST. Minha rede é muito simples: X, e1, e2, d1, Y, onde e1 e e2 são camadas de codificação, d2 e Y são camadas de decodificação (e Y é a saída reconstruída). X tem...
Recentemente, tenho estudado auto-codificadores. Se bem entendi, um autoencoder é uma rede neural em que a camada de entrada é idêntica à camada de saída. Portanto, a rede neural tenta prever a saída usando a entrada como padrão-ouro. Qual é a utilidade desse modelo? Quais são os benefícios de...
Estou estudando este tutorial sobre auto-codificadores variacionais de Carl Doersch . Na segunda página, afirma: Um dos frameworks mais populares é o Autoencoder Variacional [1, 3], o assunto deste tutorial. As suposições deste modelo são fracas e o treinamento é rápido via retropropagação. Os...
Digamos que estou escrevendo um algoritmo para a construção de um autoencoder empilhado de 2 camadas e uma rede neural de 2 camadas. Eles são as mesmas coisas ou diferença? O que eu entendo é que, quando eu construo um codificador automático empilhado, eu construo camada por camada. Para rede...
Pesquisei no Google, Wikipedia, Google Scholar e mais, mas não consegui encontrar a origem dos Autoencoders. Talvez seja um desses conceitos que evoluiu muito gradualmente, e é impossível traçar um ponto de partida claro, mas ainda assim eu gostaria de encontrar algum tipo de resumo das principais...
Tanto quanto eu sei, os autoencoders e o t-SNE são usados para redução de dimensionalidade não linear. Quais são as diferenças entre eles e por que devo usar um contra o
Ao implementar um autoencoder com rede neural, a maioria das pessoas usará sigmóide como função de ativação. Podemos usar ReLU? (Como a ReLU não tem limite no limite superior, basicamente significa que a imagem de entrada pode ter um pixel maior que 1, diferente dos critérios restritos para o...
Estou treinando um autoencoder variacional condicional em um conjunto de dados de faces. Quando eu defino minha Perda de KLL igual ao meu termo de Perda de reconstrução, meu autoencoder parece incapaz de produzir amostras variadas. Eu sempre recebo os mesmos tipos de rosto aparecendo: Essas...
Estou implementando um VAE e notei duas implementações diferentes on-line da divergência simplificada univariada de KL gaussiana. A divergência original conforme aqui é Se assumirmos que nosso prior é uma unidade gaussiana, ou seja, e , isso simplifica para E aqui é onde está minha confusão....