Qual é a diferença entre uma rede neural e uma rede de crenças profundas?

62

Estou tendo a impressão de que, quando as pessoas estão se referindo a uma rede de "crenças profundas", essa é basicamente uma rede neural, mas muito grande. Isso está correto ou uma profunda rede de crenças também implica que o algoritmo em si é diferente (ou seja, nenhuma rede neural de avanço de alimentação, mas talvez algo com loops de feedback)?

Vincent Warmerdam
fonte

Respostas:

59

"Redes neurais" é um termo geralmente usado para se referir a redes neurais avançadas. As redes neurais profundas são redes neurais avançadas com muitas camadas.

Uma rede de crenças profundas não é a mesma que uma rede neural profunda.

Como você apontou, uma profunda rede de crenças tem conexões não direcionadas entre algumas camadas. Isso significa que a topologia do DNN e DBN é diferente por definição.

As camadas não direcionadas no DBN são chamadas de máquinas de Boltzmann restritas. Essas camadas podem ser treinadas usando um algoritmo de aprendizado não supervisionado (Contrastive Divergence) que é muito rápido (Aqui está um link ! Com detalhes).

Mais alguns comentários:

As soluções obtidas com redes neurais mais profundas correspondem a soluções com desempenho pior que as soluções obtidas para redes com 1 ou 2 camadas ocultas. À medida que a arquitetura se aprofunda, fica mais difícil obter uma boa generalização usando um Deep NN.

Em 2006, Hinton descobriu que resultados muito melhores poderiam ser alcançados em arquiteturas mais profundas quando cada camada (RBM) é pré-treinada com um algoritmo de aprendizado não supervisionado (Contrastive Divergence). Em seguida, a rede pode ser treinada de maneira supervisionada usando retropropagação para "ajustar" os pesos.

David Buchaca
fonte
A principal diferença entre a função de um DNN e DBN é que os DBNs funcionam em ambas as direções, in => out para treinamento, out => in para previsões?
ZAR
5

" Uma rede neural profunda é uma rede neural artificial de feed-forward que possui mais de uma camada de unidades ocultas entre suas entradas e saídas. Cada unidade oculta, , normalmente usa a função logística para mapear sua entrada total da camada abaixo , , para o estado escalar, que ele envia para a camada acima.jxjyj (Ref. (1)) ".

Dito isto, como mencionado por David: " redes de crenças profundas têm conexões não direcionadas entre as duas camadas superiores, como em um RBM ", o que contrasta com as redes neurais feed-forward padrão. Em geral, a questão principal em um DNN diz respeito ao treinamento dele, que é definitivamente mais envolvido que um NN de camada única. (Não estou trabalhando em NNs, aconteceu que li o jornal recentemente.)

Referência: 1. Redes Neurais Profundas para Modelagem Acústica em Reconhecimento de Fala , de Geoffrey Hinton, Li Deng, Dong Yu, George Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patrick Nguyen, Tara Sainath e Brian Kingsbury na IEEE Signal Processing Magazine [82] novembro de 2012 ( link para artigo original em MSR )

usεr11852 diz Reinstate Monic
fonte
11
Uma rede profunda de CRENÇA geralmente se refere a uma rede profunda com pré-treinamento não supervisionado (máquinas Boltzmann restritas empilhadas treinadas com divergência contrastante).
Alfa3 /
5
@ user11852 O artigo ao qual você vinculou faz uma distinção entre redes neurais profundas e redes de crenças profundas. As redes de crenças profundas têm conexões não direcionadas entre as duas camadas superiores, como em um RBM.
David J. Harris
0

Fico feliz em ver os comentários de Alex aqui. Eu tenho explicado às pessoas que o DL é uma rede Neural típica. Não há diferença no esquema de aprendizagem. Uma RNA anterior, escrita em c (70s), tem uma opção para configurar várias camadas ocultas. Na verdade, testei para determinar se mais camadas ocultas melhoram a precisão. O número de camadas não torna a DL diferente da ANN.

Eu odeio esse tipo de termos de marketing. Agora, temos tantos especialistas em DL que não sabem que DL é realmente ANN. Como o marketing é tão bom e forte, as pessoas acreditam que avançamos muito na área de Machine Learning. Mas nada é novo!

Kihoon Yoon
fonte
4
Na verdade, existem coisas novas. É verdade que as RNAs eram conhecidas muito antes do hype do DL. O que aprendemos recentemente são os muitos truques necessários para aprender essas redes neurais profundas. Com muito mais poder computacional, também descobrimos que as redes neurais são ótimas para imagens, áudio e outros dados pelos quais tivemos dificuldades em criar recursos manuais. Há mais, é claro.
Vladislavs Dovgalecs
11
Esta resposta parece ser mais um comentário sobre um problema não relacionado. Não vejo menção a redes de crenças profundas.
beldaz 16/01