Classifique números usando apenas 2 camadas ocultas

10

Estou lendo o artigo de base Sequence to Sequence Learning with Neural Networks de Ilya Sutskever e Quoc Le. Na primeira página, menciona brevemente que:

A surprising example of the power of DNNs is their ability to sort
N N-bit numbers using only 2 hidden layers of quadratic size 

Alguém pode descrever brevemente como classificar números usando apenas duas camadas ocultas?

Aerin
fonte

Respostas:

3

Pesquisando, encontrei um artigo que comprova que a classificação pode ser feita com no máximo 3 camadas e que a solução é ótima se você restringir o tamanho da rede a ser polinomial em relação ao número de números de entrada:

Redes neurais eficientes em profundidade para divisão e problemas relacionados , consulte o Teorema 7 na página 955 (página 10 no PDF).

Maximilian Janisch
fonte
11
Obrigado por encontrar o documento relevante! Na verdade, este artigo faz a classificação com "profundidade" 3, o que parece significar apenas duas camadas ocultas. Veja também a referência 14, na qual eles confiam no limite inferior, "Limiar de circuitos de profundidade limitada" igi-web.tugraz.at/people/maass/psfiles/34o.pdf (também no ResearchGate) esp páginas 131-132 (3 -4 em pdf).
Ben Reiniger