Introdução ao aprendizado de máquina para matemáticos

23

Em certo sentido, essa é uma referência cruzada de math.stackexchange , e tenho a sensação de que este site pode fornecer um amplo público.

Estou procurando uma introdução matemática ao aprendizado de máquina. Particularmente, muita literatura que pode ser encontrada é relativamente imprecisa e muitas páginas são gastas sem nenhum conteúdo.

No entanto, a partir dessa literatura, descobri os cursos do Coursera de Andrew Ng, o livro do Bispo sobre reconhecimento de padrões e, finalmente, um livro de Smola. Infelizmente, o livro de Smola está apenas no estado preliminar. No livro de Smola, até as provas podem ser encontradas, o que me agrada. O livro de Bishop já é muito bom, mas falta um certo rigor.

Resumindo: estou procurando um livro como o de Smola, ou seja, o mais preciso e rigoroso possível, e utiliza conhecimentos matemáticos (embora breves introduções sejam obviamente aceitáveis).

Alguma recomendação?

machine-learning references pac-learning Quickbeam2k1
fonte
1
No futuro, por favor, não cruze.
Momo
Parece que a pergunta está inacabada - ela termina após "e".
JW
desculpe, de alguma forma, minha edição desapareceu.
Quickbeam2k1
1
você pode querer explicar por que um matemático quer aprender sobre aprendizagem de máquina (para encontrar um trabalho como cientista de dados / para fazer a pesquisa / etc) que irá ajudar as pessoas que você aponte na direção certa
seanv507
1
para a ciência de dados Eu diria que você precisa estatísticas básicas Entendimento (regressão por exemplo linear / logística), experimental design por exemplo ab testes etc, e, além disso uma compreensão de técnicas de sistema de recomendação
seanv507

Respostas:

9

Para o que você descreve, eu recomendo "Foundations of Machine Learning", de Mohri et.al. É um texto de graduação, mas é realmente bom para estudantes de graduação. É legível e é o único lugar em que encontrei o que eu chamaria de definição matemática de aprendizado de máquina (pac e pac fraco). Vale a pena ler apenas por esse motivo. Eu também tenho um doutorado em matemática. Eu estou familiarizado e gosto de muitos dos livros mencionados acima. Gosto particularmente de ESL por um amplo espectro de técnicas e idéias, mas é um livro de estatística com muita matemática.

meh
fonte
1
Aliás, me disseram que Schapire, em sua tese, provou que um PAC fraco implica PAC. Sua prova equivale à técnica de reforço, por isso é um bom exemplo de como uma pergunta teórica levou a um resultado muito prático.
meh
Obrigado, por suas observações. Acho que vou trabalhar com ESL mais tarde, depois de trabalhar com Mohri e livros de Shalev-Shwartz
Quickbeam2k1
12

Eu recomendaria Elements of Statistical Learning (arquivo PDF grátis). Possui matemática suficiente e uma boa introdução a todas as técnicas relevantes - juntamente com algumas idéias sobre por que as técnicas funcionam (e quando não funcionam).

Também Introdução à Aprendizagem Estatística (que é mais prático - como fazê-lo em R ). Possui um curso ministrando aprendizado estatístico ; você pode encontrar as palestras no YouTube (e novamente em PDF grátis).

seanv507
fonte
3
Essa é uma recomendação muito legal. Além disso, sugiro "Aprendendo com os dados" de Yaser S. Abu-Mostafa. É altamente teórico, mas explica de maneira muito clara tópicos como viabilidade de aprendizado e dimensão de VC. Existem vídeos e slides disponíveis online .
tiagotvv
Segundo a sugestão "Aprendendo com os dados" de Yaser S. Abu-Mostafa. O livro é muito curto, mas repleto de informações valiosas. De fato, muita atenção é dada à viabilidade de aprendizado e complexidade.
Vladislavs Dovgalecs 31/03
7

Você provavelmente gostará de Learning With Kernels de Schölkopf e Smola. A maior parte do trabalho de Schölkopf é matematicamente rigorosa.

Dito isto, você provavelmente está melhor lendo artigos de pesquisa em vez de livros didáticos. Os trabalhos de pesquisa contêm derivações completas e provas de convergência, limites de desempenho etc., que muitas vezes não são incluídos nos livros didáticos. Um bom lugar para começar é o Journal of Machine Learning , que é altamente considerado e tem acesso totalmente aberto. Também recomendo os trabalhos de conferências como ICML , NIPS , COLT e IJCNN .

Peter Mortensen
fonte
obrigado pelas dicas com o diário. Receio, no entanto, que os periódicos sejam, até agora, avançados demais para mim. No entanto, essa migração será uma fonte valiosa para o futuro.
Quickbeam2k1