Estatísticas para aprendizado de máquina, documentos para começar?

10

Tenho formação em programação de computadores e teoria elementar dos números, mas não tenho treinamento em estatística real, e recentemente "descobri" que o incrível mundo de toda uma gama de técnicas é realmente um mundo estatístico. Parece que fatorações matriciais, conclusão matricial, tensores de alta dimensão, incorporação, estimativa de densidade, inferência bayesiana, partições de Markov, computação de vetor próprio, PageRank são todas técnicas altamente estatísticas e que os algoritmos de aprendizado de máquina que usam essas coisas usam muitas estatísticas .

Meu objetivo é ser capaz de ler artigos que discutem essas coisas e implementar ou criar os algoritmos, enquanto entendemos a notação, "provas" e argumentos estatísticos usados. Acho que o mais difícil é seguir todas as provas que envolvem matrizes.

Que documentos básicos podem me ajudar a começar? Ou um bom livro com exercícios que valem a pena ser trabalhados?

Especificamente, alguns artigos que eu gostaria de entender completamente são:

  1. Conclusão exata da matriz via otimização convexa, Candes, Recht, 2008
  2. Transformação Rápida de Cauchy e Regressão Linear Mais Rápida e Robusta, Clarkson et al, 2013
  3. Projeções aleatórias para máquinas de vetores de suporte, Paul et al, 2013
  4. Estimativa de Probabilidade em Alta Dimensão com Modelos de Densidade Profunda, Rippel, Adams, 2013
  5. Obtenção de estimativas minimizadoras de erros e limites universais de erros inteligentes para conclusão de matrizes de baixa classificação, Király, Theran, 2013
machine-learning estimation Cris Stringfellow
fonte
11
Você já está familiarizado com matrizes, por exemplo, através de um curso de álgebra linear aplicada ou isso faz parte do que você está procurando aprender? Eu diria que a primeira metade da lista que você forneceu são tópicos importantes em estatística, em vez de técnica altamente estatística (que me parece ir na direção oposta). Há várias perguntas aqui nos livros recomendados para o aprendizado de aprendizado de máquina estatístico. Eu sugiro que você forneça um exemplo ou dois dos documentos específicos que você encontrou que gostaria de entender; isso ajudará a focar melhor as respostas que você recebe.
cardeal
2
Sim, familiarizado com matrizes, através de álgebra linear e com conceitos de espaço vetorial, base, normas, mas não entendo completamente coisas como fatoração de LU, embora eu seja bastante claro sobre a ortogonalização de Gram-Schmidt e o algoritmo QR não otimizado, não completamente claro sobre por que eles funcionam. Também não entendo como as pessoas podem derivar os vetores próprios para uma matriz aleatória sem executar um algoritmo de vetor próprio.
precisa

Respostas:

2

Eu recomendaria o curso Andrew Ngs Machine Learning no Coursera, que oferece uma cobertura brilhante de todos os princípios. Se você está estudando alguma coisa a ver com modelos gráficos probabilísticos, o curso Daphne Kollers também seria bom.

Este é um tesouro para recursos de auto-estudo também http://ragle.sanukcode.net/articles/machine-learning-self-study-resources/ As palestras de Herb Grossman são impressionantes.

Também me recomendaram este livro https://www.openintro.org/stat/textbook.php, pois estou sempre aprendendo a mim mesmo e as estatísticas não são o meu histórico!

Meus dois centavos são o lado da matemática das coisas e dos papéis, no entanto, é que não se envolva muito com a matemática de fundo. Aprenda o básico e faça referência aos documentos em que os documentos mencionados são construídos e veja se são mais fáceis (talvez você precise voltar alguns documentos para obter algo que possa entender - é o que eu mesmo faço) - existem muitos diferentes elementos matemáticos em ML e é fácil ser sugado por uma toca de coelho (novamente algo que eu já fiz mais de uma vez!).

Boa sorte, é um campo realmente interessante!

Jim
fonte