Qual a diferença entre uma rede neural profunda e outras redes neurais?

Respostas:

28

A diferença está principalmente no número de camadas.

Por um longo tempo, acreditava-se que "1-2 camadas ocultas são suficientes para a maioria das tarefas" e era impraticável usar mais do que isso, porque o treinamento de redes neurais pode ser muito exigente em termos computacionais.

Atualmente, os computadores são capazes de muito mais, então as pessoas começaram a usar redes com mais camadas e descobriram que funcionam muito bem em algumas tarefas.

A palavra "profundo" existe simplesmente para distinguir essas redes das tradicionais, "mais rasas".

Espreitador Desencantado
fonte
Se eu entendi "aprendizado profundo" corretamente, existem alguns parâmetros (pesos) que estão amarrados, reduzindo assim o espaço dos parâmetros. NNs normais não podem fazer isso.
Raphael
@Raphael, re:, some parameters (weights) that are tied together, thus reducing the parameter spacevocê quer dizer Redes Neurais Convolucionais?
publicgk
@publicgk Foi o que vi, sim.
Raphael
Eu sempre ouvi "aprendizado profundo" é quando você usa conjuntos de dados muito grandes. Isso é um erro e o tamanho dos dados não importa - ou as pessoas associam o aprendizado profundo a grandes conjuntos de dados, porque é isso que é necessário para o treinamento.
Steven Sagona 20/02
Gostaria de salientar que essa "crença" de que uma rede neural com apenas 1 camada oculta pode computar qualquer função está realmente comprovada (consulte, por exemplo, neuralnetworksanddeeplearning.com/chap4.html ). Eu acho que você deveria ter explicado um pouco mais por que mais de uma camada oculta é "conveniente".
nbro 23/02
9

Uma rede neural profunda é apenas uma rede neural (feed-forward) com muitas camadas.

Entretanto, redes profundas de crenças, redes Deep Boltzman, etc., não são consideradas redes neurais profundas (discutíveis), pois sua topologia é diferente (elas possuem redes não direcionadas em sua topologia).

Veja também: /stats//a/59854/84191 .

Dawny33
fonte