Na CNN, aprenderemos filtros para produzir um mapa de características na camada convolucional.
No Autoencoder, a única unidade oculta de cada camada pode ser considerada como filtro.
Qual a diferença entre os filtros aprendidos nessas duas redes?
No caso de filtros CNN, são aplicados pequenos patches de uma imagem em cada local possível (o que também os torna invariantes na tradução).
As camadas ocultas do codificador automático recebem a imagem inteira (saída da camada anterior) como entrada, o que não parece uma boa ideia para imagens: geralmente apenas os recursos locais espacialmente se correlacionam, enquanto os mais distantes são menos correlacionados. Além disso, esses neurônios ocultos não são invariantes à tradução.
Assim, as CNNs são como RNAs usuais com um tipo especial de regularização, que zera a maioria dos pesos para fazer uso da localidade.