O que é "backprop"?

Respostas:

13

"Backprop" é o mesmo que "backpropagation": é apenas uma maneira mais curta de dizer isso. Às vezes, é abreviado como "BP".

Franck Dernoncourt
fonte
7

'Backprop' é a abreviação de 'backpropagation of error' para evitar confusões ao usar o termo backpropagation .

Basicamente, a retropropagação refere-se ao método para calcular o gradiente da função de erro em maiúsculas e minúsculas com relação aos pesos para uma rede Werbos de feedforward . E backprop refere-se a um método de treinamento que usa backpropagation para calcular o gradiente.

Então, podemos dizer que uma rede backprop é uma rede feedforward treinada por backpropagation .

O termo 'backprop padrão' é um eufemismo para a regra delta generalizada, que é o método de treinamento supervisionado mais amplamente utilizado.

Fonte: O que é backprop? nas perguntas frequentes do grupo de notícias Usenet comp.ai.neural-nets

Referências:

  • Werbos, PJ (1974). Além da regressão: novas ferramentas para previsão e análise nas ciências do comportamento. Tese de doutorado, Universidade de Harvard.
  • Werbos, PJ (1994). As raízes da retropropagação: de derivadas ordenadas a redes neurais e previsão política, Wiley Interscience.
  • Bertsekas, DP (1995), Nonlinear Programming, Belmont, MA: Athena Scientific, ISBN 1-886529-14-0.
  • Bertsekas, DP e Tsitsiklis, JN (1996), Programação Neurodinâmica, Belmont, MA: Athena Scientific, ISBN 1-886529-10-8.
  • Polyak, BT (1964), "Alguns métodos para acelerar a convergência de métodos de iteração", Z. Vycisl. Esteira. i Mat. Fiz., 4, 1-17.
  • Polyak, BT (1987), Introdução à otimização, NY: Optimization Software, Inc.
  • Reed, RD, e Marks, RJ, II (1999), Neural Smithing: Aprendizado supervisionado em redes neurais artificiais feedforward, Cambridge, MA: The MIT Press, ISBN 0-262-18190-8.
  • Rumelhart, DE, Hinton, GE e Williams, RJ (1986), "Aprendendo representações internas por propagação de erros", em Rumelhart, DE e McClelland, JL, eds. (1986), Processamento Distribuído Paralelo: Explorações na Microestrutura da Cognição, Volume 1, 318-362, Cambridge, MA: The MIT Press.
  • Werbos, PJ (1974/1994), The Roots of Backpropagation, Nova Iorque: John Wiley & Sons. Inclui o doutorado em Harvard em 1974 pela Werbos. Além da Regressão.
kenorb
fonte
2

Sim, como Franck colocou corretamente, "backprop" significa backpropogation, que é freqüentemente usado no domínio de redes neurais para otimização de erros.

Para uma explicação detalhada, eu indicaria este tutorial sobre o conceito de retropropagação de um livro muito bom de Michael Nielsen.

Dawny33
fonte
0

No aprendizado de máquina, a retropropagação (backprop, BP) é um algoritmo amplamente usado no treinamento de redes neurais feedforward para aprendizado supervisionado. Existem generalizações de retropropagação para outras redes neurais artificiais (RNAs) e para funções em geral - uma classe de algoritmos denominados genericamente como "retropropagação".

ALFIANSYAH
fonte
Olá, seja bem-vindo ao AI Stack Exchange. Em vez de postar respostas da Wikipedia, é recomendável expressar as respostas às perguntas com as próprias palavras, embora a Wikipedia possa ser usada para apoiar um argumento ou ajudar a derivar uma explicação. Atualize sua resposta para ser mais nesse sentido.
Jaden Travnik
0

É um nome sofisticado para a regra da cadeia multivariável.

FourierFlux
fonte
Olá. Você poderia apoiar esta resposta com um pouco mais de detalhes? (Sei que é uma pergunta simples, mas acho que sua resposta merece mais explicações.)
DukeZhou