Livro didático sobre aprendizado por reforço

12

Estou procurando um livro didático / notas de aula no aprendizado por reforço. Gosto da "Introdução à aprendizagem estatística" , mas infelizmente elas não abordam esse tópico. Eu sei que um livro de Sutton e Barto é uma referência padrão, e talvez o NDP também seja bom, mas eles são datados de 1997-98, e eu esperava encontrar uma exposição mais moderna, já que esse campo provavelmente terá algum desenvolvimento recentemente. Tempo.

machine-learning references Ulisses
fonte

Respostas:

15

Eu acho que Sutton e Barto ainda são o padrão. Existem muitos decks de slides e notas das aulas de IA on-line, mas eles normalmente não entram em muitos detalhes.

Sutton e Barto têm um pouco de idade, mas estão preparando uma segunda edição do livro. Um rascunho, datado de janeiro de 2018, está disponível aqui ; está vinculada à página de Sutton , que também possui o texto completo da primeira edição.

TD(λ)

Fora isso, você pode tentar mergulhar em alguns papéis - o material de aprendizado por reforço tende a ser bastante acessível.

Matt Krause
fonte
Obrigado, dei uma olhada na nova edição, mas não diria que é muito atualizada. Ainda estou interessado em uma exposição mais atualizada.
Ulysses
Sim, definitivamente não é uma revisão completa, mas nada mais vem à mente além de alguns volumes das "Notas de aula" da Springer, que são essencialmente apenas coleções de papéis. Se você encontrar outra coisa, poste uma atualização; Eu adoraria dar uma olhada.
Matt Krause
Entendo, com certeza farei #
Ulysses
1
@CharlieParker, não tenho certeza. O rascunho mais recente (19 de junho de 2017) parece bastante completo e menciona o MIT Press, mas o site do MIT Press parece estar vendendo a primeira edição ainda. Pelo que vale a pena, o rascunho é diretamente do site público dos autores, portanto não há necessidade de se preocupar em usar uma versão "vazada" ou algo assim.
27417 Matt-Krause
1
@ Thomas, atualizei o link com um rascunho mais recente.
Matt Krause
6

Você pode conferir Algoritmos para Aprendizagem por Reforço, de Csaba Szepesvári, publicado em 2010. PDF para download no site. Na minha opinião, é um pouco mais técnico que Sutton e Barto, mas cobre menos material.

wij
fonte
6

Aqui você tem alguns bons livros / referências:

Clássico

Sutton RS, Barto AG. Aprendizado por Reforço: Uma Introdução. Cambridge, Massachusetts: A Bradford Book; 1998. 322 p.

O rascunho da segunda edição está disponível gratuitamente: https://webdocs.cs.ualberta.ca/~sutton/book/the-book.html

Russell / Norvig Capítulo 21:

Russell SJ, Norvig P, Davis E. Inteligência artificial: uma abordagem moderna. Rio Saddle Superior, NJ: Prentice Hall; 2010.

Mais técnico

Szepesvári C. Algoritmos para aprendizado por reforço. Palestras de Síntese sobre Inteligência Artificial e Machine Learning. 2010; 4 (1): 1–103. http://www.ualberta.ca/~szepesva/RLBook.html

Bertsekas DP. Programação dinâmica e controle ideal. 4ª edição. Belmont, Massachusetts: Athena Scientific; 2007. 1270 p. O Capítulo 6, vol 2, está disponível gratuitamente: http://web.mit.edu/dimitrib/www/dpchapter.pdf

Para desenvolvimentos mais recentes

Wiering M, van Otterlo M, editores. Aprendizado por Reforço. Berlim, Heidelberg: Springer Berlin Heidelberg; 2012 Disponível em: http://link.springer.com/10.1007/978-3-642-27645-3

Kochenderfer MJ, Amato C, Chowdhary G, How JP, Reynolds HJD, Thornton JR, et al. Tomada de decisão sob incerteza: teoria e aplicação. 1 edição. Cambridge, Massachusetts: The MIT Press; 2015. 352 p.

Aprendizado de reforço multi-agente

Buşoniu L., Babuška R., Schutter BD. Aprendizado de reforço multi-agente: uma visão geral. In: Srinivasan D, Jain LC, editores. Inovações em sistemas e aplicações multiagentes - 1. Springer Berlin Heidelberg; 2010 p. 183-221. Disponível em: http://link.springer.com/chapter/10.1007/978-3-642-14435-6_7

Schwartz HM. Aprendizado de máquina multiagente: uma abordagem de reforço. Hoboken, Nova Jersey: Wiley; 2014.

Vídeos / Cursos

Eu também sugeriria o curso de David Silver no YouTube: https://www.youtube.com/playlist?list=PL5X3mDkKaJrL42i_jhE4N-p6E2Ol62Ofa

Juan Leni
fonte
3

Minhas notas de palestras favoritas sobre aprendizado por reforço são as de Andrew Ng no curso de Stanford no ML CS229:

Notas de aprendizagem sobre reorientação Stanford CS229

Você também pode baixar os vídeos das palestras no iTunes. Ou no youtube, eles começam no seguinte link:

Aula 16 CS229

Charlie Parker
fonte