Por que propagar de volta no tempo em uma RNN?

Em uma rede neural recorrente, você costuma encaminhar a propagação por várias etapas de tempo, "desenrolar" a rede e depois propagá-la pela sequência de entradas.

Por que você não atualiza apenas os pesos após cada etapa individual da sequência? (o equivalente a usar um comprimento de truncamento de 1, para que não haja nada para desenrolar) Isso elimina completamente o problema de gradiente de fuga, simplifica bastante o algoritmo, provavelmente reduziria as chances de ficar preso em mínimos locais e, o mais importante, parece funcionar bem . Treinei um modelo dessa maneira para gerar texto e os resultados pareciam comparáveis ​​aos resultados dos modelos treinados pelo BPTT. Só estou confuso com isso, porque todo tutorial sobre RNNs que eu vi diz usar BPTT, quase como se fosse necessário para o aprendizado adequado, o que não é o caso.

Atualização: adicionei uma resposta

Edit: Eu cometi um grande erro ao comparar os dois métodos e tenho que mudar minha resposta. Acontece que eu estava fazendo isso, apenas voltando a propagação na etapa atual, realmente começa a aprender mais rápido. As atualizações rápidas aprendem os padrões mais básicos muito rapidamente. Mas em um conjunto de dados maior e com mais tempo de treinamento, o BPTT de fato sai por cima. Eu estava testando uma pequena amostra por apenas algumas épocas e presumi que quem começar a ganhar a corrida será o vencedor. Mas isso me levou a uma descoberta interessante. Se você iniciar a propagação de seu treinamento de volta apenas uma única etapa, mude para BPTT e aumente lentamente a distância de propagação, obtendo uma convergência mais rápida.

Uma RNN é uma Rede Neural Profunda (DNN), na qual cada camada pode receber novas entradas, mas tem os mesmos parâmetros. BPT é uma palavra chique para Propagação Traseira em uma rede que, por si só, é uma palavra chique para Gradient Descent.

Digamos que o RNN saídas Y t em cada passo e e r r o r t = ( y t - y t ) 2$\hat{y}_t$

$$\begin{equation} error_t=(y_t-\hat{y}_t)^2 \end{equation}$$

Para aprender os pesos, precisamos de gradientes para que a função responda à pergunta "quanto uma alteração no parâmetro afeta a função de perda?" e mova os parâmetros na direção dada por:

$$\begin{equation} \nabla error_t=-2(y_t-\hat{y}_t)\nabla \hat{y}_t \end{equation}$$

Ou seja, temos um DNN onde obtemos feedback sobre o quão boa é a previsão em cada camada. Como uma mudança no parâmetro alterará todas as camadas no DNN (timestep) e cada camada contribuirá para as próximas saídas, isso precisa ser levado em consideração.

Pegue uma rede simples de uma camada de neurônios e uma para ver isso de forma semi-explícita:

$$\begin{align*} \hat{y}_{t+1} =& f(a+bx_t+c\hat{y}_t)\\ \frac{\partial}{\partial a}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot c\cdot \frac{\partial}{\partial a}\hat{y}_{t} \\ \frac{\partial}{\partial b}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot (x_t+c\cdot\frac{\partial}{\partial b}\hat{y}_{t})\\ \frac{\partial}{\partial c}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot (\hat{y}_t+c\cdot\frac{\partial}{\partial c}\hat{y}_{t})\\ \iff\\ \nabla \hat{y}_{t+1} =& f'(a+bx_t+c\hat{y}_t)\cdot \left(\begin{bmatrix}0\\x_t\\\hat{y}_t \end{bmatrix} + c \mathbin{\color{red}{\nabla \hat{y}_{t}}} \right) \end{align*}$$

Com a um passo de treinamento taxa de aprendizagem é então: [ ~ um ~ b ~ $\delta$

$$\begin{equation} \begin{bmatrix}\tilde{a}\\\tilde{b}\\\tilde{c}\end{bmatrix} \leftarrow \begin{bmatrix}a\\b\\c\end{bmatrix} + \delta (y_{t}-\hat{y}_{t})\nabla \hat{y}_t \end{equation}$$

$\nabla \hat{y}_{t+1}$$\nabla \hat{y}_{t}$$t$

$$\begin{equation} error=\sum_t(y_t-\hat{y}_t)^2 \end{equation}$$

Talvez cada passo contribua com uma direção bruta que seja suficiente em agregação? Isso poderia explicar seus resultados, mas eu estaria realmente interessado em saber mais sobre sua função de método / perda! Também estaria interessado em uma comparação com uma ANN com duas janelas com timestep.

edit4: Depois de ler os comentários, parece que sua arquitetura não é uma RNN.

$h_t$

Seu modelo: Sem estado - estado oculto reconstruído em cada etapa edit2: adicionou mais refs aos DNNs edit3: passo fixo corrigido e algumas notações edit5: corrigiu a interpretação do seu modelo após sua resposta / esclarecimento.

$$\frac{dF(g(x), h(x), m(x))}{dx} = \frac{\partial F}{\partial g}\frac{dg}{dx} + \frac{\partial F}{\partial h}\frac{dh}{dx} + \frac{\partial F}{\partial m}\frac{dm}{dx}$$

$t$$H_t$$\theta$$x_t$$H_{t-1}$$H_t$$t$$L$$\theta$ de tal maneira que, se o mesmo exemplo for novamente apresentado, nosso erro será reduzido.

$\theta$$x_t$$\nabla_\theta a(x_t, \theta)$$\theta$$H_{t-1}$$\theta$$\nabla_\theta H_{t-1}$$x_{t-1}$$\theta$$H_{t-2}$$H_{t-2}$$\theta$