Por que as funções de ativação não centralizadas em zero são um problema na retropropagação?

Eu li aqui o seguinte:

As saídas sigmóides não são centralizadas em zero . Isso é indesejável, uma vez que neurônios em camadas posteriores de processamento em uma rede neural (mais sobre isso em breve) receberiam dados que não são centralizados em zero. Isto tem implicações sobre a dinâmica durante gradiente descendente, porque, se os dados de entrada em um neurónio é sempre positiva (por exemplo, $x > 0$ elemento a elemento em $f = w^Tx + b$ )), em seguida, o gradiente nos pesos $w$ vontade durante retropropagação tornar-se quer todos são positivos ou todos negativos (dependendo do gradiente de toda a expressão $f$ ) Isso poderia introduzir uma dinâmica indesejável de zigue-zague nas atualizações de gradiente para os pesos. No entanto, observe que, depois que esses gradientes são somados em um lote de dados, a atualização final dos pesos pode ter sinais variáveis, mitigando um pouco esse problema. Portanto, isso é um inconveniente, mas tem consequências menos graves em comparação com o problema de ativação saturada acima.

Por que ter todos $x>0$ (elementwise) levaria a gradientes totalmente positivos ou negativos em $w$ ?

neural-networks deep-learning backpropagation Amelio Vazquez-Reina
fonte

Eu também tive exatamente a mesma pergunta assistindo vídeos do CS231n.

Subwaymatch 25/11

Respostas:

f = \sum w_{i} x_{i} + b

$f=\sum w_ix_i+b$

\frac{d f}{d w_{i}} = x_{i}

$\frac{df}{dw_i}=x_i$

\frac{d L}{d w_{i}} = \frac{d L}{d f} \frac{d f}{d w_{i}} = \frac{d L}{d f} x_{i}

$\frac{dL}{dw_i}=\frac{dL}{df}\frac{df}{dw_i}=\frac{dL}{df}x_i$

$x_i>0$ $\dfrac{dL}{dw_i}$ $\dfrac{dL}{df}$

$w_1$ $w_2$

Se o nosso objetivo estiver no nordeste, só podemos nos mover em zigue-zague para chegar lá, assim como o estacionamento paralelo em um espaço estreito. (perdoe meu desenho)

Portanto, funções de ativação totalmente positivas ou negativas (relu, sigmóide) podem ser difíceis para otimização baseada em gradiente. Para resolver esse problema, podemos normalizar os dados antecipadamente para serem centralizados em zero, como na normalização de lote / camada.

f = \sum w_{i} (x_{i} + b_{i}) .

$f=\sum w_i(x_i+b_i).$

\frac{d L}{d w_{i}} = \frac{d L}{d f} (x_{i} - b_{i})

$\frac{dL}{dw_i}=\frac{dL}{df}(x_i-b_i)$

x_{i}

$x_i$

dontloo
fonte

Por favor, corrija-me se eu estiver errado, mas o valor de dL / df não deve ser transposto por x, por exemplo, xT, pois estaríamos usando a idéia de Jacobin aqui.

Chinmay

f

$f$

w^{T} x + b

$w^Tx+b$

L

$L$

w

$w$

x

$x$

Sim, é um grande erro de digitação do meu fim. Eu quis dizer df / dw .... mas eu acho que depende mais do vector x e se é um vetor linha ou um vetor coluna

Chinmay

d L / d f

$d L/d f$

@floyd oi Acabei de adicionar algumas atualizações para sua pergunta

dontloo 01/08