Qual é a origem das redes neurais do autoencoder?

13

Pesquisei no Google, Wikipedia, Google Scholar e mais, mas não consegui encontrar a origem dos Autoencoders. Talvez seja um desses conceitos que evoluiu muito gradualmente, e é impossível traçar um ponto de partida claro, mas ainda assim eu gostaria de encontrar algum tipo de resumo das principais etapas de seu desenvolvimento.

O capítulo sobre auto-codificadores do livro Deep Learning de Ian Goodfellow, Yoshua Bengio e Aaron Courville diz:

A idéia de auto-codificadores faz parte do cenário histórico das redes neurais há décadas (LeCun, 1987; Bourlard e Kamp, 1988; Hinton e Zemel, 1994). Tradicionalmente, os auto-codificadores eram usados ​​para redução de dimensionalidade ou aprendizado de recursos.

Esta apresentação de Pascal Vincent diz:

Denoising usando auto-codificadores clássicos foi realmente introduzido muito antes (LeCun, 1987; Gallinari et al., 1987), como uma alternativa às redes Hopfield (Hopfield, 1982).

Isso parece implicar que "autoencodificadores clássicos" existiam antes disso: LeCun e Gallinari os usavam, mas não os inventavam. Não vejo vestígios de "auto-codificadores clássicos" antes de 1987.

Alguma ideia?

neural-networks autoencoders history MiniQuark
fonte

Respostas:

9

De acordo com a história fornecida em Schmidhuber, " Aprendizado profundo em redes neurais: uma visão geral ", Redes Neurais (2015), auto-codificadores foram propostos como um método para pré-treinamento não supervisionado em Ballard, "Aprendizado modular em redes neurais", Proceedings AAAI (1987). Não está claro se essa é a primeira vez que codificadores automáticos foram usados; é apenas a primeira vez que eles foram usados com o objetivo de pré-treinar RNAs .

Como a introdução ao artigo de Schmidhuber deixa claro, é um pouco difícil atribuir todas as idéias usadas nas RNAs porque a literatura é diversa e a terminologia evoluiu ao longo do tempo.

Sycorax diz restabelecer Monica
fonte
1
O artigo escrito por Ballard tem terminologias completamente diferentes, e nem sequer há um farejo do conceito Autoencoder na sua totalidade. Talvez o AE não tenha nenhum papel de origem.
abunickabhi
2
O artigo de Schmudhuber enfatiza que a terminologia mudou com o tempo e diferentes pessoas redescobriram os mesmos tópicos várias vezes. Não é surpreendente que o autor não usa a palavra “auto codificador”
Sycorax diz Reintegrar Monica
4

O artigo abaixo fala indiretamente sobre o autoencoder e remonta a 1986. (que é um ano antes do artigo de Ballard em 1987)

DE Rumelhart, GE Hinton e RJ Williams, "Aprendendo representações internas por propagação de erros". , Processamento distribuído paralelo. Vol 1: Fundações. MIT Press, Cambridge, MA, 1986.

O artigo descreve basicamente um novo tipo de rede de feedforward na época e seu formalismo matemático.

abunickabhi
fonte