Qual é a diferença entre uma rede neural e uma rede de crenças profundas?

Estou tendo a impressão de que, quando as pessoas estão se referindo a uma rede de "crenças profundas", essa é basicamente uma rede neural, mas muito grande. Isso está correto ou uma profunda rede de crenças também implica que o algoritmo em si é diferente (ou seja, nenhuma rede neural de avanço de alimentação, mas talvez algo com loops de feedback)?

"Redes neurais" é um termo geralmente usado para se referir a redes neurais avançadas. As redes neurais profundas são redes neurais avançadas com muitas camadas.

Uma rede de crenças profundas não é a mesma que uma rede neural profunda.

Como você apontou, uma profunda rede de crenças tem conexões não direcionadas entre algumas camadas. Isso significa que a topologia do DNN e DBN é diferente por definição.

As camadas não direcionadas no DBN são chamadas de máquinas de Boltzmann restritas. Essas camadas podem ser treinadas usando um algoritmo de aprendizado não supervisionado (Contrastive Divergence) que é muito rápido (Aqui está um link ! Com detalhes).

Mais alguns comentários:

As soluções obtidas com redes neurais mais profundas correspondem a soluções com desempenho pior que as soluções obtidas para redes com 1 ou 2 camadas ocultas. À medida que a arquitetura se aprofunda, fica mais difícil obter uma boa generalização usando um Deep NN.

Em 2006, Hinton descobriu que resultados muito melhores poderiam ser alcançados em arquiteturas mais profundas quando cada camada (RBM) é pré-treinada com um algoritmo de aprendizado não supervisionado (Contrastive Divergence). Em seguida, a rede pode ser treinada de maneira supervisionada usando retropropagação para "ajustar" os pesos.

" Uma rede neural profunda é uma rede neural artificial de feed-forward que possui mais de uma camada de unidades ocultas entre suas entradas e saídas. Cada unidade oculta, , normalmente usa a função logística para mapear sua entrada total da camada abaixo , , para o estado escalar, que ele envia para a camada acima.$j$$x_j$$y_j$ (Ref. (1)) ".

Dito isto, como mencionado por David: " redes de crenças profundas têm conexões não direcionadas entre as duas camadas superiores, como em um RBM ", o que contrasta com as redes neurais feed-forward padrão. Em geral, a questão principal em um DNN diz respeito ao treinamento dele, que é definitivamente mais envolvido que um NN de camada única. (Não estou trabalhando em NNs, aconteceu que li o jornal recentemente.)

Referência: 1. Redes Neurais Profundas para Modelagem Acústica em Reconhecimento de Fala , de Geoffrey Hinton, Li Deng, Dong Yu, George Dahl, Abdel-rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patrick Nguyen, Tara Sainath e Brian Kingsbury na IEEE Signal Processing Magazine [82] novembro de 2012 ( link para artigo original em MSR )

Fico feliz em ver os comentários de Alex aqui. Eu tenho explicado às pessoas que o DL é uma rede Neural típica. Não há diferença no esquema de aprendizagem. Uma RNA anterior, escrita em c (70s), tem uma opção para configurar várias camadas ocultas. Na verdade, testei para determinar se mais camadas ocultas melhoram a precisão. O número de camadas não torna a DL diferente da ANN.

Eu odeio esse tipo de termos de marketing. Agora, temos tantos especialistas em DL que não sabem que DL é realmente ANN. Como o marketing é tão bom e forte, as pessoas acreditam que avançamos muito na área de Machine Learning. Mas nada é novo!