Número ideal de camadas em uma rede neural?

13

Como decidir o número ideal de camadas a serem criadas durante a implementação de uma rede neural (feedforward, propagação traseira ou RNN)?

v01d
fonte

Respostas:

8

Existe uma técnica chamada Pruningem redes neurais, usada apenas para esse mesmo objetivo.

A poda é feita no número de camadas ocultas. O processo é muito semelhante ao processo de poda de árvores de decisão. O processo de poda é feito da seguinte maneira:

  • Treine uma rede grande e densamente conectada com um algoritmo de treinamento padrão
  • Examine a rede treinada para avaliar a importância relativa dos pesos
  • Remova os pesos menos importantes
  • treinar novamente a rede podada
  • Repita as etapas 2 a 4 até ficar satisfeito

No entanto, existem vários métodos otimizados para podar redes neurais e também é uma área de pesquisa muito ativa .

Dawny33
fonte
Uma abordagem simétrica é a "pesquisa em grade" comum aplicada à arquitetura de rede. Comece pequeno (tão rápido) e tente automaticamente arquiteturas maiores. Tudo isso é apenas a força bruta, embora ...
Eric Platon
@ EricPlaton +1 para pesquisa na grade. Muito útil em algos ML de alta sintonia. Mas, não é computacionalmente muito intensivo?
precisa saber é o seguinte
1
Sim, é caro. No entanto, quando podemos começar pequenos, os primeiros estágios podem ser bem rápidos e dar uma idéia melhor do que procurar.
Eric Platon
@EricPlaton "Grid Search" mereceria uma resposta separada para o seu próprio :)
Dawny33
Eu pensei sobre isso, mas então haveria duas respostas alternativas e talvez "igualmente corretas" ... Eu pensei que o melhor para o leitor era compilar a resposta como uma.
Eric Platon
0

Você pode dar uma olhada na otimização do hiperparâmetro bayesiano como um método geral de otimizar a perda (ou qualquer outra coisa) em função dos hiperparâmetros. Mas observe que, em geral, quanto mais profunda sua rede, melhor, portanto, otimizar a perda em função do número de camadas não é algo muito divertido de se fazer.

A pesquisa em grade e um pouco de bom senso (conforme aprendido por ver muitos exemplos) devem ser sua melhor aposta.

kc sayz 'kc sayz'
fonte