O que é "backprop"?

O que significa "backprop"? O termo "backprop" é basicamente o mesmo que "backpropagation" ou tem um significado diferente?

"Backprop" é o mesmo que "backpropagation": é apenas uma maneira mais curta de dizer isso. Às vezes, é abreviado como "BP".

'Backprop' é a abreviação de 'backpropagation of error' para evitar confusões ao usar o termo backpropagation .

Basicamente, a retropropagação refere-se ao método para calcular o gradiente da função de erro em maiúsculas e minúsculas com relação aos pesos para uma rede ^{Werbos de} feedforward . E backprop refere-se a um método de treinamento que usa backpropagation para calcular o gradiente.

Então, podemos dizer que uma rede backprop é uma rede feedforward treinada por backpropagation .

O termo 'backprop padrão' é um eufemismo para a regra delta generalizada, que é o método de treinamento supervisionado mais amplamente utilizado.

Fonte: O que é backprop? nas perguntas frequentes do grupo de notícias Usenet comp.ai.neural-nets

Referências:

• Werbos, PJ (1974). Além da regressão: novas ferramentas para previsão e análise nas ciências do comportamento. Tese de doutorado, Universidade de Harvard.
• Werbos, PJ (1994). As raízes da retropropagação: de derivadas ordenadas a redes neurais e previsão política, Wiley Interscience.
• Bertsekas, DP (1995), Nonlinear Programming, Belmont, MA: Athena Scientific, ISBN 1-886529-14-0.
• Bertsekas, DP e Tsitsiklis, JN (1996), Programação Neurodinâmica, Belmont, MA: Athena Scientific, ISBN 1-886529-10-8.
• Polyak, BT (1964), "Alguns métodos para acelerar a convergência de métodos de iteração", Z. Vycisl. Esteira. i Mat. Fiz., 4, 1-17.
• Polyak, BT (1987), Introdução à otimização, NY: Optimization Software, Inc.
• Reed, RD, e Marks, RJ, II (1999), Neural Smithing: Aprendizado supervisionado em redes neurais artificiais feedforward, Cambridge, MA: The MIT Press, ISBN 0-262-18190-8.
• Rumelhart, DE, Hinton, GE e Williams, RJ (1986), "Aprendendo representações internas por propagação de erros", em Rumelhart, DE e McClelland, JL, eds. (1986), Processamento Distribuído Paralelo: Explorações na Microestrutura da Cognição, Volume 1, 318-362, Cambridge, MA: The MIT Press.
• Werbos, PJ (1974/1994), The Roots of Backpropagation, Nova Iorque: John Wiley & Sons. Inclui o doutorado em Harvard em 1974 pela Werbos. Além da Regressão.

Sim, como Franck colocou corretamente, "backprop" significa backpropogation, que é freqüentemente usado no domínio de redes neurais para otimização de erros.

Para uma explicação detalhada, eu indicaria este tutorial sobre o conceito de retropropagação de um livro muito bom de Michael Nielsen.

No aprendizado de máquina, a retropropagação (backprop, BP) é um algoritmo amplamente usado no treinamento de redes neurais feedforward para aprendizado supervisionado. Existem generalizações de retropropagação para outras redes neurais artificiais (RNAs) e para funções em geral - uma classe de algoritmos denominados genericamente como "retropropagação".

É um nome sofisticado para a regra da cadeia multivariável.