Perguntas com a marcação «batch-normalization»

Então, recentemente, há um artigo sobre Normalização de Camadas . Há também uma implementação no Keras. Mas lembro-me de que existem artigos intitulados Normalização de Lote Recorrente (Cooijmans, 2016) e Redes Neurais Recorrentes Normalizadas em Lote (Laurent, 2015). Qual é a diferença entre...

A normalização de lote é descrita neste documento como uma normalização da entrada para uma função de ativação com variáveis ​​de escala e deslocamento e \ beta . Este artigo descreve principalmente o uso da função de ativação sigmóide, que faz sentido. No entanto, parece-me que alimentar uma...

Normalização em lote e ReLUs são soluções para o problema do gradiente de fuga. Se estamos usando a normalização em lote, devemos usar sigmoides? Ou existem recursos de ReLUs que os fazem valer a pena mesmo ao usar batchnorm? Suponho que a normalização feita no batchnorm enviará zero ativações...

No documento Normalização em lote: acelerando o treinamento em rede profunda por Redução da mudança interna de covariáveis ​​( aqui ) Antes de explicar o processo de normalização em lote, o artigo tenta explicar os problemas relacionados (não estou entendendo qual é o problema exato abordado aqui)...