Aqui está um livro interessante Redes Neurais: Truques do Comércio , uma versão atualizada de 2012 do livro. Muitos artigos de alguns dos pioneiros das redes neurais.
A ypx abordou muito bem muitas questões práticas com o treinamento, para abordar outras questões levantadas: muitos laboratórios industriais de elite ainda publicam seus resultados. Por exemplo, a equipe da Microsoft Research acabou de ganhar o ImageNet 2015 e eles lançaram um relatório técnico descrevendo seu novo módulo de rede profunda: Deep Residual Learning for Image Reconognition , a equipe do Google publicou sua arquitetura Inception, Going Deeper with Convolutions . Em um nível não trivial, ainda existe uma cultura no aprendizado de máquina (por enquanto) de compartilhar as grandes inovações. Possivelmente porque a chave é o acesso aos dados. Google e Facebook simplesmente têm acesso a dados que não temos. Difícil dizer quanto crédito vai para a inovação algorítmica bruta e quanto vai para grandes quantidades de dados.
Com relação ao que acontecerá no futuro? Difícil de dizer. É uma questão que muitas pessoas levantaram, dada a importância dessas empresas orientadas a dados e a competitividade do mercado. Mas, por enquanto, acho que há um saldo suficientemente bom do que os laboratórios de pesquisa industrial compartilham e não compartilham. Entendo que eles não compartilham sua implementação exata de código. Mas eles compartilham algumas inovações muito novas.
Encontre pesquisadores que publicam resultados importantes e leiam, leiam, leiam. Acredito que na AMA de Yann LeCun no Reddit, ele mencionou que é um leitor voraz. Eu acredito que isso é a coisa mais importante. E, na medida em que for prático, tente recriar seus benchmarks ou aplique o método a um conjunto de dados que esteja dentro do seu orçamento.
Penso que, independentemente de onde você está ou qual é sua posição na vida, esta é a melhor maneira de permanecer afiado e continuar desenvolvendo suas habilidades. Seja um leitor voraz e implemente coisas e construa intuição. Pessoalmente, não tenho recursos para participar de competições ImageNet, mas a leitura de todos os artigos do grupo ImageNet com melhor desempenho me ajudou tremendamente.