O que é uma rede neural profunda?

Qual é a definição de uma rede neural profunda? Por que eles são tão populares ou importantes?

Uma rede neural profunda (DNN) nada mais é do que uma rede neural que possui várias camadas, onde várias podem ser subjetivas.

IMHO, qualquer rede que tenha 6 ou 7 ou mais camadas é considerada profunda. Portanto, o acima formaria uma definição muito básica de uma rede profunda.

Redes profundas têm duas diferenças principais com redes 'normais'.

A primeira é que o poder computacional e os conjuntos de dados de treinamento cresceram imensamente, o que significa que é prático executar redes maiores e estatisticamente válidas (ou seja, temos exemplos de treinamento suficientes para não apenas encontrar problemas excessivos em redes maiores).

A segunda é que a propagação traseira é limitada quanto mais camadas você tiver; cada camada representa um gradiente do erro; portanto, quando uma tem cerca de seis camadas de profundidade, não resta muito erro para modificar os pesos dos neurônios. Mas é razoável esperar que os neurônios anteriores sejam mais importantes do que os neurônios posteriores, uma vez que representam "conceitos" mais próximos das informações brutas.

Novas técnicas de treinamento contornam esse problema, geralmente fazendo aprendizado não supervisionado sobre os insumos brutos, criando 'conceitos' de nível superior que são úteis como insumos para o aprendizado supervisionado.

(Por exemplo, considere o problema de determinar se uma imagem contém ou não um gato a partir dos pixels. As camadas iniciais da rede devem fazer coisas como detectar bordas, que seria de esperar compartilhar entre todas as imagens e, principalmente, independente do que alguém está tentando fazer com as camadas de saída, portanto, também é difícil treinar através de sinais de 'gato e não gato' muitas camadas acima.

Estrutura geral de uma rede neural artificial

Camada de entrada + Camadas ocultas + Camada de saída

Se houver mais camadas ocultas na rede neural artificial, a rede neural será chamada de rede neural profunda. Quantas exatamente constituem uma rede neural profunda é um ponto de debate, mas, em geral, quanto mais as camadas ocultas, mais profunda é a rede neural.

Chegando ao motivo de serem tão populares ou importantes, muitos problemas como detecção de objetos, classificação, reconhecimento de faces e reconhecimento de fala foram resolvidos com o advento de redes neurais profundas. Não é exagero dizer que o desempenho de redes neurais profundas ultrapassou até o desempenho humano em muitas das tarefas mencionadas acima. Isso significa que agora um computador é o melhor para executar as tarefas acima do que os humanos. Todos os problemas acima mencionados estavam no campo de pesquisa desde quase 5 décadas. Todos eles foram resolvidos com perfeição apenas nos últimos 4,5 anos apenas por causa do sucesso de redes neurais profundas. É por isso que eles são muito populares e importantes. Mencionei muito poucos problemas nos quais trabalhei, há muitas tarefas semelhantes que as redes neurais profundas resolveram com facilidade na última década.

E, neste momento, muitas pessoas em todo o mundo estão trabalhando na solução de inúmeras aplicações usando redes neurais profundas.