Quanto do trabalho do Deep Mind é realmente reproduzível?

A Deep Mind publicou muitos trabalhos sobre aprendizado profundo nos últimos anos, a maioria deles de ponta em suas respectivas tarefas. Mas quanto desse trabalho foi realmente reproduzido pela comunidade da IA? Por exemplo, o artigo da Máquina de Tural Neural parece ser muito difícil de reproduzir, de acordo com outros pesquisadores.

Por sugestão do OP rcpinto, converti um comentário sobre ver "cerca de meia dúzia de artigos que seguem o trabalho de Graves et al., Que produziram resultados do calibre" e fornecerão alguns links. Lembre-se de que isso apenas responde à parte da pergunta referente aos NTMs, não ao próprio Google DeepMind, e ainda estou aprendendo as regras do aprendizado de máquina; portanto, parte do material desses documentos está acima da minha cabeça; Consegui compreender muito do material no artigo original de Graves et al. {1] e estou perto de ter um código NTM caseiro para testar. Eu também pelo menos vasculhei os seguintes artigos nos últimos meses; eles não replicam o estudo NTM de maneira científica estrita, mas muitos de seus resultados experimentais tendem a apoiar o original pelo menos tangencialmente:

• Neste artigo, em uma versão variante do endereçamento NTM, Gulcehere, et al. não tente replicar com precisão os testes de Graves et al., mas, como a equipe DeepMind, ela demonstra resultados significativamente melhores para o NTM original e várias variantes em relação a um LSTM recorrente comum. Eles usam 10.000 amostras de treinamento de um conjunto de dados de perguntas e respostas do Facebook, em vez dos N-gramas Graves et al. operados em seus trabalhos, para que não seja replicação no sentido mais estrito. No entanto, eles conseguiram obter uma versão do NTM original e várias variantes em funcionamento, além de registrar a mesma magnitude de melhoria de desempenho. 2

• Diferentemente do MNT original, este estudo testou uma versão do aprendizado por reforço que não era diferenciável; pode ser por isso que eles não foram capazes de resolver vários dos tarefas de programação, como Repeat-Copy, a menos que o controlador não estivesse confinado a avançar. Seus resultados foram, no entanto, bons o suficiente para apoiar a idéia de MNTs. Aparentemente, está disponível uma revisão mais recente do artigo, que eu ainda não li, portanto, talvez alguns dos problemas de suas variantes tenham sido resolvidos. 3

• Em vez de testar o sabor original do NTM em redes neurais comuns como LSTMs, este artigo o colocou contra várias estruturas de memória mais avançadas do NTM. Eles obtiveram bons resultados no mesmo tipo de tarefas de programação que Graves et al. testados, mas não acho que eles usassem o mesmo conjunto de dados (é difícil dizer pela maneira como o estudo deles é escrito exatamente em quais conjuntos de dados eles estavam operando). 4

• na pág. 8 deste estudo , um NTM supera claramente vários esquemas baseados em LSTM, feed-forward e vizinho mais próximo em um conjunto de dados de reconhecimento de caracteres Omniglot. Uma abordagem alternativa à memória externa elaborada pelos autores supera-a claramente, mas ainda assim obviamente funciona bem. Os autores parecem pertencer a uma equipe rival do Google, portanto isso pode ser um problema ao avaliar a replicabilidade. 5

• na pág. 2 esses autores relataram obter uma melhor generalização de "seqüências muito grandes" em um teste de tarefas de cópia, usando uma rede NTM muito menor que eles desenvolveram com o algoritmo genético NEAT, que cresce dinamicamente topologias. 6

Os MNTs são relativamente novos, portanto ainda não houve muito tempo para replicar rigorosamente a pesquisa original, suponho. Os poucos artigos que eu passei no verão, no entanto, parecem apoiar os resultados experimentais; Ainda não vi nenhum que relate nada, mas excelente desempenho. É claro que tenho um viés de disponibilidade, pois só li os pdfs que encontrei facilmente em uma pesquisa na Internet descuidada. A partir dessa pequena amostra, parece que a maioria das pesquisas de acompanhamento se concentrou em estender o conceito, não em replicação, o que explicaria a falta de dados de replicabilidade. Espero que ajude.

1 Graves, Alex; Wayne, Greg e Danihelka, Ivo, 2014, "Neural Turing Machines", publicado em 10 de dezembro de 2014.

2 Gulcehre, Caglar; Chandar, Sarath; Choy, Kyunghyun e Bengio, Yoshua, 2016, "Máquina de Turing Neural Dinâmica com Esquemas de Endereçamento Macio e Difícil", publicada em 30 de junho de 2016.

3 Zaremba, Wojciech e Sutskever, Ilya, 2015, "Reinforcement Learning Neural Turing Machines", publicado em 4 de maio de 2015.

4 Zhang; Wei; Yu, Yang e Zhou, Bowen, 2015, "Memória Estruturada para Máquinas de Neural Turing", publicada em 25 de outubro de 2015.

5 Santoro, Adam; Bartunov, Sergey; Botvinick, Matthew; Wierstra, Daan e Lillicrap, Timothy, 2016, "Aprendizado único com redes neurais com aumento de memória", publicado em 19 de maio de 2016.

6 Boll Greve, Rasmus; Jacobsen, Emil Juul e Sebastian Risi, data desconhecida, "Evolving Neural Turing Machines". Nenhum editor listado

Todos, exceto (talvez) Boll Greve et al. foram publicados no Repositório arXiv.org da Cornell Univeristy Library: Ithaca, Nova York.

Costumo pensar que esta questão é limítrofe e pode se aproximar. Alguns comentários por enquanto, no entanto.

wrongx Há (pelo menos) dois problemas com a reprodução do trabalho de uma empresa como a DeepMind:

• Faltam detalhes técnicos nas publicações.
• Acesso ao mesmo nível de dados.

Os detalhes técnicos devem ser viáveis. Algumas pessoas reproduziram algumas das cenas de ação do Atari . O AlphaGo é aparentemente mais complexo e exigirá mais trabalho, mas isso deve ser possível em algum momento no futuro (os indivíduos podem não ter recursos de computação hoje).

Os dados podem ser mais complicados. Várias empresas abrem seus conjuntos de dados, mas os dados também são o nervo da concorrência ...