Quão verdadeiro é esse deslize no aprendizado profundo, alegando que todas as melhorias dos anos 80 se devem apenas a muito mais dados e computadores muito mais rápidos?

Eu estava ouvindo uma palestra e vi este slide:

Quão verdadeiro é isso?

Eu estava navegando no AI StackExchange e me deparei com uma pergunta muito semelhante: O que distingue o “Deep Learning” de outras redes neurais?

Como o AI StackExchange será fechado amanhã (novamente), copiarei as duas principais respostas aqui (contribuições do usuário licenciadas sob o cc by-sa 3.0 com a atribuição necessária):

Autor: mommi84less

Dois artigos bem citados em 2006 trouxeram o interesse da pesquisa de volta à aprendizagem profunda. Em "Um algoritmo de aprendizado rápido para redes de crenças profundas" , os autores definem uma rede de crenças profundas como:

[...] redes de crenças densamente conectadas e com muitas camadas ocultas.

Encontramos quase a mesma descrição para redes profundas em " Treinamento ganancioso de camadas profundas para redes profundas" :

Redes neurais profundas de várias camadas têm muitos níveis de não linearidades [...]

Em seguida, no documento de pesquisa "Aprendizado de representação: uma revisão e novas perspectivas" , o aprendizado profundo é usado para abranger todas as técnicas (veja também esta palestra ) e é definido como:

[...] construindo múltiplos níveis de representação ou aprendendo uma hierarquia de recursos.

O adjetivo "deep" foi assim usado pelos autores acima para destacar o uso de múltiplas camadas ocultas não lineares .

Autor: lejlot

Apenas para adicionar à resposta @ mommi84.

O aprendizado profundo não se limita às redes neurais. Esse é um conceito mais amplo do que apenas os DBNs de Hinton, etc. O aprendizado profundo é sobre o

construindo vários níveis de representação ou aprendendo uma hierarquia de recursos.

Portanto, é um nome para algoritmos de aprendizado de representação hierárquica . Existem modelos profundos baseados em modelos ocultos de Markov, campos aleatórios condicionais, máquinas de vetores de suporte etc. O único fato comum é que, em vez da engenharia de recursos (popular nos anos 90) , em que os pesquisadores tentavam criar um conjunto de recursos, que é o melhor para resolver algum problema de classificação - essas máquinas podem calcular sua própria representação a partir de dados brutos. Aplicados especificamente ao reconhecimento de imagens (imagens brutas), eles produzem uma representação em vários níveis, que consiste em pixels, linhas e traços de rosto (se estivermos trabalhando com rostos), como narizes, olhos e, finalmente, rostos generalizados. Se aplicado ao Processamento de linguagem natural - eles constroem um modelo de linguagem que conecta palavras em partes, partes em frases etc.

Outro slide interessante:

fonte

O abandono escolar, de Hinton em 2006, é considerado a maior melhoria no aprendizado profundo dos últimos 10 anos, porque reduz muito o excesso de ajustes.

Esta é certamente uma pergunta que provocará polêmica.

Quando as redes neurais são usadas no aprendizado profundo, elas geralmente são treinadas de maneiras que não foram usadas nos anos 80. Em particular, estratégias que pré-treinam camadas individuais da rede neural para reconhecer recursos em diferentes níveis são facilitadas para treinar redes com várias camadas. Esse é certamente um novo desenvolvimento desde os anos 80.

A chave é a palavra "profundo" no aprendizado profundo. Alguém (esqueceu ref) nos anos 80 provou que todas as funções não lineares podiam ser aproximadas por uma rede neural de camada única com, é claro, um número suficientemente grande de unidades ocultas. Acho que esse resultado provavelmente desencorajou as pessoas a procurar uma rede mais profunda na era anterior.

Mas a profundidade da rede é o que provou ser o elemento crucial na representação hierárquica que impulsiona o sucesso de muitos dos aplicativos atuais.

Não exatamente, a RNA começa nos anos 50. Confira um dos slides das estrelas do rock de Yann LeCun para uma introdução autêntica e abrangente. http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf