Como calcular o termo delta de uma camada convolucional, dados os termos e pesos delta da camada convolucional anterior?

Estou tentando treinar uma rede neural artificial com duas camadas convolucionais (c1, c2) e duas camadas ocultas (c1, c2). Estou usando a abordagem de retropropagação padrão. No retrocesso, calculo o termo de erro de uma camada (delta) com base no erro da camada anterior, nos pesos da camada anterior e no gradiente da ativação em relação à função de ativação da camada atual. Mais especificamente, o delta da camada l se parece com isso:

delta(l) = (w(l+1)' * delta(l+1)) * grad_f_a(l)

Eu sou capaz de calcular o gradiente de c2, que se conecta a uma camada regular. Apenas multiplico os pesos de h1 pelo delta. Em seguida, reformulo essa matriz na forma de saída de c2, multiplico-a pelo gradiente da função de ativação e pronto.

Agora eu tenho o termo delta de c2 - que é uma matriz 4D de tamanho (featureMapSize, featureMapSize, filterNum, patternNum). Além disso, tenho os pesos de c2, que são uma matriz 3D de tamanho (filterSize, filterSize, filterNum).

Com esses dois termos e com o gradiente de ativação de c1, quero calcular o delta de c1.

Longa história curta:

Dado o termo delta de uma camada convolucional anterior e os pesos dessa camada, como computo o termo delta de uma camada convolucional?

Primeiro, deduzo o erro de uma camada convolucional abaixo para simplificar uma matriz unidimensional (entrada) que pode ser facilmente transferida para uma multidimensional:

Assumimos aqui que de comprimento N são as entradas da l - 1ª convés. layer, m é o tamanho do núcleo de pesos w, denotando cada peso por w ie a saída é x l . Portanto, podemos escrever (observe a soma do zero): x l i = m - 1 ∑ a = 0 w a y l - 1 a + i onde y l $y^{l-1}$$N$$l-1$$m$$w$$w_i$$x^l$

$$x_i^l = \sum\limits_{a=0}^{m-1} w_a y_{a+i}^{l-1}$$ e f a função de activação (por exemplo sigmoidal). Com isso em mãos, podemos considerar agora a função de erro E e a função de erro na camada convolucional (a da camada anterior) fornecida por ∂ E / ∂ y l i . Agora, queremos descobrir a dependência do erro em um dos pesos nas camadas anteriores: ∂ $y_i^l = f(x_i^l)$$f$$E$$\partial E / \partial y_i^l$ onde temos a soma de toda expressão em quewaocorre, que sãoN-m. Note também que nós sabemos o último termo surge do fato de que∂x l $$\begin{equation} \frac{\partial E}{\partial w_a} = \sum\limits_{a=0}^{N-m} \frac{\partial E}{\partial x_i^l} \frac{\partial x_i^l}{\partial w_a} = \sum\limits_{a=0}^{N-m}\frac{\partial E}{\partial w_a} y_{i+a}^{l-1} \end{equation}$$
$w_a$$N-m$ qual você pode ver a partir da primeira equação. Para calcular o gradiente, precisamos conhecer o primeiro termo, que pode ser calculado por: ∂$\frac{\partial x_i^l}{\partial w_a}= y_{i+a}^{l-1}$
onde novamente o primeiro termo é o erro na camada anteriorefda função de ativação não linear. $$\frac{\partial E}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial y_i^l}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial}{\partial x_i^l} f(x_i^{l})$$ $f$

Tendo todas as entidades necessárias, agora podemos calcular o erro e propagá-lo de volta com eficiência para a camada preciosa:

$$\delta^{l-1}_a = \frac{\partial E}{\partial y_i^{l-1} } = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x_{i-a}^l} \frac{\partial x_{i-a}^l}{\partial y_i^{l-1}} = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x^l_{i-a}} w_a^{flipped}$$ $x_i^l$$y_i^{l-1}$$flipped$$T$

Portanto, você pode apenas calcular o erro na próxima camada (agora em notação vetorial):

$$\delta^{l} = (w^{l})^{T} \delta^{l+1} f'(x^{l})$$

$$\delta^{l} = upsample((w^{l})^{T} \delta^{l+1}) f'(x^{l})$$ $upsample$

Por favor, sinta-se livre para adicionar ou me corrigir!

Para referências, consulte:

http://ufldl.stanford.edu/tutorial/supervised/ConvolutionalNeuralNetwork/ http://andrew.gibiansky.com/blog/machine-learning/convolutional-neural-networks/

e para uma implementação C ++ (sem necessidade de instalação): https://github.com/nyanp/tiny-cnn#supported-networks