Eu estava lendo este livro sobre aprendizado profundo de Ian e Aron. Na descrição do DBN, eles dizem que o DBN caiu em desuso e raramente é usado.
Redes de crenças profundas demonstraram que arquiteturas profundas podem ser bem-sucedidas, superando as máquinas de vetores de suporte kernelizadas no conjunto de dados MNIST (Hinton et al., 2006). Hoje, as redes de crenças profundas caíram em desuso e raramente são usadas, mesmo em comparação com outros algoritmos de aprendizado não supervisionados ou generativos, mas ainda são merecidamente reconhecidas por seu importante papel na história do aprendizado profundo.
Eu não entendo o porquê.
machine-learning
deep-learning
deep-belief-networks
asdfkjasdfjk
fonte
fonte
Respostas:
Lembre-se de que a retropropagação vinha com um grande problema; o gradiente de fuga; Eu acho que a principal razão pela qual as redes de crenças profundas raramente são usadas é porque a retropropagação usada com RELU (Unidade Linear Retificada) resolve o problema do gradiente de fuga e não é mais um problema e você não precisa implementar um DBN.
O segundo motivo é que, embora você possa resolver o mesmo problema usando abordagens semelhantes, arquiteturas de grandes redes profundas se tornam muito mais complexas para treinar com redes de crenças profundas. Usando a retropropagação com RELU, você pode treinar de uma só vez.
fonte