Número mínimo de camadas em uma rede neural profunda

Respostas:

19

"Profundo" é um termo de marketing: portanto, você pode usá-lo sempre que precisar comercializar sua rede neural de várias camadas.

Franck Dernoncourt
fonte
15

"Profunda"
Uma das primeiras redes neurais profundas possui três camadas ocultas densamente conectadas ( Hinton et al. (2006) ).

insira a descrição da imagem aqui

"Muito profundo"
Em 2014, as redes VGG "muito profundas" Simonyan et al. (2014) consistem em 16+ camadas ocultas.

insira a descrição da imagem aqui

"Extremamente profundo"
Em 2016, as redes residuais "extremamente profundas" He et al. (2016) consistem em 50 a mais de 1.000 camadas ocultas. insira a descrição da imagem aqui

dontloo
fonte
11

De acordo com a literatura,

Schmidhuber, J. (2015). "Deep Learning em redes neurais: uma visão geral". Redes neurais. 61: 85-117. arXiv: 1404.7828free para ler. doi: 10.1016 / j.neunet.2014.09.003.

https://en.wikipedia.org/wiki/Deep_learning

Dizem que

Não existe um limiar de profundidade universalmente acordado que divida a aprendizagem superficial da aprendizagem profunda, mas a maioria dos pesquisadores da área concorda que a aprendizagem profunda tem várias camadas não lineares (CAP> 2) e Schmidhuber considera que CAP> 10 é uma aprendizagem muito profunda

Uma cadeia de transformações de entrada para saída é um caminho de atribuição de crédito ou CAP. Para uma rede neural avançada, a profundidade dos CAPs e, portanto, a profundidade da rede, é o número de camadas ocultas mais uma.

prashanth
fonte