Número ideal de camadas em uma rede neural?

Como decidir o número ideal de camadas a serem criadas durante a implementação de uma rede neural (feedforward, propagação traseira ou RNN)?

Existe uma técnica chamada Pruningem redes neurais, usada apenas para esse mesmo objetivo.

A poda é feita no número de camadas ocultas. O processo é muito semelhante ao processo de poda de árvores de decisão. O processo de poda é feito da seguinte maneira:

• Treine uma rede grande e densamente conectada com um algoritmo de treinamento padrão
• Examine a rede treinada para avaliar a importância relativa dos pesos
• Remova os pesos menos importantes
• treinar novamente a rede podada
• Repita as etapas 2 a 4 até ficar satisfeito

No entanto, existem vários métodos otimizados para podar redes neurais e também é uma área de pesquisa muito ativa .

Você pode dar uma olhada na otimização do hiperparâmetro bayesiano como um método geral de otimizar a perda (ou qualquer outra coisa) em função dos hiperparâmetros. Mas observe que, em geral, quanto mais profunda sua rede, melhor, portanto, otimizar a perda em função do número de camadas não é algo muito divertido de se fazer.

A pesquisa em grade e um pouco de bom senso (conforme aprendido por ver muitos exemplos) devem ser sua melhor aposta.