Estou procurando um artigo detalhando os princípios básicos do aprendizado profundo. Idealmente, como o curso de Andrew Ng para aprendizado profundo. Você sabe onde eu posso encontrar isso?
22
Estou procurando um artigo detalhando os princípios básicos do aprendizado profundo. Idealmente, como o curso de Andrew Ng para aprendizado profundo. Você sabe onde eu posso encontrar isso?
Respostas:
Este link contém uma quantidade incrível de literatura de aprendizado profundo. Resumindo-o aqui (seguindo a ordem ideal para um iniciante) - NOTA: Todos esses recursos usam principalmente python.
1) Antes de tudo, é necessário um conhecimento básico de aprendizado de máquina. Eu achei o aprendizado da Caltech a partir dos dados o ideal para todos os cursos de aprendizado de máquina disponíveis na rede.
O curso Coursera de Andrew Ng também é muito bom.
2) Para redes neurais, ninguém explica melhor do que o Dr.Patrick Winston . As tarefas devem ser testadas para melhor compreensão. Eles estão em python.
3) Para uma melhor compreensão das redes neurais, o curso de Michael Nielsen deve ser realizado (como sugerido por Alexey). É bem básico, mas funciona.
4) Para redes neurais profundas e implementá-las mais rapidamente em GPUs, existem várias estruturas disponíveis, como Theano , Caffe , Pybrain , Torch , etc. Destes, o Theano fornece uma funcionalidade melhor de baixo nível que permite ao usuário criar NNs personalizados. É uma biblioteca python, portanto, poder usar numpy, scikit-learn, matplotlib, scipy junto com ela é uma grande vantagem. O tutorial de aprendizado profundo escrito por Lisa Lab deve ser experimentado para uma melhor compreensão do theano.
5) Para redes neurais convolucionais, siga o tutorial de andrej karpathy .
6) Para aprendizado não supervisionado, siga aqui e aqui .
7) Para uma interseção de aprendizagem profunda e PNL, siga a aula de Richard Socher .
8) Para LSTMs, leia Hochreiter, S., & Schmidhuber, J. (1997). Memória de curto prazo. Computação neural, 9 (8), 1735-1780 e Graves, Alex. Rotulagem de sequência supervisionada com redes neurais recorrentes. Vol. 385. Springer, 2012 .
Aqui está o código Theano da LSTM .
fonte
O assunto é novo, por isso a maior parte da sabedoria está espalhada nos papéis, mas aqui estão dois livros recentes:
E algum material prático: http://deeplearning.net/tutorial/
fonte
Redes Neurais e Deep Learning por Michael Nielsen. O livro ainda está em andamento, mas parece bastante interessante e promissor. E é grátis! Aqui está o link: http://neuralnetworksanddeeplearning.com/
Até agora, existem apenas cinco capítulos, e a maioria deles fala sobre redes neurais comuns, mas ainda vale a pena dar uma olhada.
Atualização: o livro foi finalizado!
fonte
Principais referências:
Cursos sobre aprendizagem profunda:
Orientado à PNL:
Orientado à visão:
Tutoriais específicos do kit de ferramentas:
fonte
Há também a recente dissertação de doutorado de Richard Socher sobre interseção da PNL e aprendizado profundo: Aprendizado Profundo Recursivo para Processamento de Linguagem Natural e Visão Computacional
fonte
Para compreender a derivação do algoritmo de propagação traseira, sugiro o vídeo do youtube de Ryan Harris, que é menos assustador. Você pode encontrar o segundo vídeo também.
fonte