Recurso / livro para avanços recentes na teoria da aprendizagem estatística

Estou bastante familiarizado com a teoria por trás do VC-Dimension, mas agora estou analisando os recentes (últimos 10 anos) avanços na teoria estatística da aprendizagem: médias (locais) de Rademacher, lema de classe finita de Massart, números de cobertura, encadeamento, Dudley's Teorema, Pseudodimensão, Dimensão Fat Shattering, Números de Embalagem, Composição de Rademacher e possivelmente outros resultados / ferramentas que eu não conheço.

Existe um site, pesquisa, coleção de artigos ou, o melhor de tudo, um livro abordando esses tópicos?

Como alternativa, estou vendo exemplos de como vincular a média do Rademacher para classes simples, da mesma maneira que as pessoas usam retângulos alinhados ao eixo para mostrar como vincular a dimensão VC.

Desde já, obrigado.

Acredito que você apreciaria a Teoria da Classificação: Uma Pesquisa de Avanços Recentespor Boucheron, Bousquet e Lugosi. Em particular, começa construindo a teoria básica da generalização via complexidades de Rademacher, introduz algumas ferramentas úteis (como o princípio da contração, cuja prova você pode rastrear nas notas de Shai & Shai mencionadas na resposta de Ashwinkumar, mas (acredito?) livro de probabilidades de Ledoux & Talagrand, que não é gratuito) e os aplica a métodos de classificação padrão (as máquinas de vetores de reforço e suporte são discutidas, devido à sua popularidade e por serem treinadas via ERM). Este texto data de 2005, então também possui alguns dos outros tópicos um pouco recentes que você mencionou, por exemplo, Complexidades Locais do Rademacher, e há até um pequeno plug-in no encadeamento. Por fim, enquanto o manuscrito é bastante curto,

Alguns dos outros tópicos que você menciona têm idade suficiente para estar em "Uma teoria probabilística do reconhecimento de padrões", de Devroye, Györfi e Lugosi (em particular, ela tem muito mais a oferecer do que qualquer outro texto que conheço). Embora falte alguns dos tópicos mais recentes mencionados, este é um livro padrão que todos que conheci na teoria da aprendizagem carregaram em suas prateleiras. Talvez tente localizar um índice e um índice para o livro, e folheá-lo.

Alguns dos outros tópicos mencionados não foram tratados detalhadamente em um livro, mas apareceram em várias notas do curso. Por exemplo, se você for para a página de Sham Kakade na UPenn , encontrará links para dois cursos de teoria da aprendizagem (um foi no TTI-C, com Ambuj Tewari) e verá que os links de tópicos correspondem a algumas das coisas que você discutiu , e não apareceram nas minhas respostas ou em outro lugar. Existem muitos bons cursos em várias escolas; Avrim Blum tem notas excelentes e extremamente legíveis para seu curso de teoria da aprendizagem (sua análise do winnow é a mais curta, mais limpa e mais intuitiva que eu já vi!).

Algumas delas são talvez um pouco novas demais, e você precisará acessar o material de origem. Mas se você realmente está apenas tentando aprender um monte de técnicas, acho que a pesquisa no topo e as palestras para algumas aulas de teoria da aprendizagem o ajudarão muito.

Além disso, parece que você está procurando textos avançados, mas também gostaria de inserir dois textos introdutórios de que as pessoas gostam muito. Uma é "uma introdução à teoria da aprendizagem computacional", de Kearns e (U.) Vazirani, que enquanto antiga (por exemplo, o impulso é apresentado apenas através da construção original de Robert Schapire, e a ênfase está no PAC e não no aprendizado agnóstico), é apresentou bem e tem boa intuição. Pessoalmente, eu adquiri minhas noções básicas de Introdução à teoria estatística da aprendizagem , pelos mesmos autores da pesquisa acima (mas aparecendo na ordem Bousquet, Boucheron, Lugosi?); tem uma boa exposição e foi a primeira vez que a teoria da generalização realmente começou a clicar para mim.

Este foi um curso recentemente ensinado. http://www.cs.huji.ac.il/~shais/Handouts.pdf . Ainda não li com atenção, mas o capítulo 7 tem material sobre as Complexidades de Rademacher. Espero que ajude.

O livro de Cesa-Bianchi e Lugosi tem muitos dos aspectos modernos dos limites da generalização e da teoria da aprendizagem.