Minha pergunta diz respeito à relação entre a hipótese de codificação eficiente, descrita na página da Wikipedia sobre algoritmos de codificação eficiente e aprendizado de rede neural.
Qual é a relação entre a hipótese de codificação eficiente e as redes neurais?
Existem modelos de redes neurais inspirados explicitamente pela hipótese de codificação eficiente?
Ou seria mais justo dizer que todos os algoritmos de aprendizado de rede neural são pelo menos implicitamente baseados em codificação eficiente?
neural-networks
information-theory
Mike NZ
fonte
fonte
Respostas:
Acredito que se possa argumentar que uma conexão foi feita. Pedirei desculpas por não postar minha fonte, pois não consegui encontrá-la, mas isso veio de um slide antigo que Hinton apresentou. Nele, ele alegou que uma das maneiras fundamentais de pensar para quem faz aprendizado de máquina (como a apresentação era anterior ao uso comum da palavra aprendizado profundo) era a existência de uma transformação ótima dos dados, para que os dados pudessem ser facilmente aprendeu. Acredito que, para as redes neurais, a 'transformação ideal' dos dados por trás do suporte, é a hipótese de codificação eficiente em ação. Da mesma maneira que, dado um núcleo adequado, muitos espaços podem ser facilmente classificados com modelos lineares, aprendendo a maneira correta de transformar e armazenar os dados. É análogo ao qual e como os neurônios devem ser organizados para representar os dados.
fonte