Relação entre taxa de aprendizado e número de camadas ocultas?

10

Existe alguma regra prática entre a profundidade de uma rede neural e a taxa de aprendizado? Tenho notado que quanto mais profunda a rede, menor a taxa de aprendizado.

Se isso está correto, por que isso?

neural-networks deep-learning hyperparameter rule-of-thumb user_1177868
fonte
11
uma discussão relacionada para um modelo de impulso. stats.stackexchange.com/questions/168666/…
Haitao Du
A discussão fornece informações úteis, mas não responde à minha pergunta. Você poderia comentar?
user_1177868
11
ye, é por isso que eu coloco isso em comentário, mas não respondo, e votei suas perguntas.
Haitao Du

Respostas:

4

Esta pergunta foi respondida aqui:

Com redes neurais, a taxa de aprendizado deve ser de alguma forma proporcional aos tamanhos de camada oculta? Eles deveriam se afetar?

Resposta curta é sim, existe uma relação. Embora a relação não seja tão trivial, tudo o que posso dizer é que a superfície de otimização se torna mais complexa à medida que o número de camadas ocultas aumenta, portanto, taxas de aprendizado menores geralmente são melhores. Embora o armazenamento em mínimos locais seja uma possibilidade com baixa taxa de aprendizado, é muito melhor que superfície complexa e alta taxa de aprendizado.

NULO
fonte