Formação matemática para redes neurais

11

Não tenho certeza se isso é apropriado para este site, mas estou começando meu MSE em ciência da computação (bacharelado em matemática aplicada) e quero ter uma sólida experiência em aprendizado de máquina (provavelmente vou fazer um doutorado). Um dos meus subinteresses é redes neurais.

Qual é uma boa base matemática para RNAs? Como em outras áreas do aprendizado de máquina, presumo que a álgebra linear seja importante, mas que outras áreas da matemática são importantes?

Planejo ler Redes Neurais: Uma Introdução Sistemática ou Redes Neurais para Reconhecimento de Padrões . Alguém tem alguma entrada ou recomendações alternativas?

machine-learning neural-networks mathematical-statistics references Steve P.
fonte

Respostas:

10

A segunda referência que você fornece é, na minha opinião, ainda o melhor livro sobre NN, mesmo que esteja um pouco desatualizado e não lide com desenvolvimentos mais recentes, como arquiteturas profundas. Você aprenderá o básico e se familiarizará com todos os conceitos básicos do aprendizado de máquina.

Se você ler o livro, precisará de álgebra linear, cálculo multivariado e noções básicas de estatística (probabilidades condicionais, teorema de bayes e familiaridade com as distribuições binomiais). Em alguns pontos, lida com o cálculo de variações. O apêndice sobre cálculo de variações deve ser suficiente.

jpmuc
fonte
É isso que acabei seguindo depois de um monte de recomendações. Fiquei muito hesitante porque o livro de Bishop sobre aprendizado de máquina, embora anunciado por alguns, deveria ser um livro muito difícil de aprender, se você ainda não o conhece .
21413 Steve
5

O componente matemático provavelmente incluirá álgebra avançada, trigonométrica, álgebra linear e cálculo no mínimo.

Mas também pense fora da caixa. Também são necessárias boas habilidades de programação, incluindo bases sólidas em algoritmos (o Coursera tem dois cursos sobre algoritmos) e proficiência em MatLab, Octave ou R (e com uma linguagem de programação flexível como Java, C / C ++ ou Python). Mencionei isso em resposta à sua pergunta porque, na minha opinião, são mais habilidades de "matemática aplicada" - e são fundamentais para traduzir entre teoria e implementações aplicadas.

Participei de vários cursos do Coursera relacionados ao aprendizado de máquina (e concordo com outro autor que o aprendizado de máquina do Prof. Ng é fantástico) e NN. Há alguns meses, o Coursera organizou um Curso de Redes Neurais (não tenho certeza se isso ainda está disponível) através da Universidade de Toronto e Geoffrey Hinton. Um ótimo curso e exigido: conhecimento de cálculo, proficiência em Octave (um clone de código aberto semelhante ao MatLab), bom design algorítmico (para escalabilidade) e álgebra linear.

Você também pode pensar em tópicos como processamento de linguagem natural (para extração de recursos, etc.), recuperação de informações, teoria estatística / probabilidade, além de outras áreas do Machine Learning (para obter mais teoria). Textos recentes, como Fundamentos do aprendizado de máquina (Mohri) ou Introdução ao aprendizado de máquina (Alpaydin), podem ser úteis para fazer a ponte entre a complexidade da teoria e a implementação (apenas na minha opinião, isso pode ser um grande salto) - e ambos os textos são muito pesados ​​em matemática, especialmente as fundações.

Mais uma vez, acho que todos se relacionam com matemática e NN, mas em um sentido mais amplo.

SaB
fonte
Obrigado. Eu me formei em matemática aplicada como estudante de graduação (e tenho uma vasta experiência em programação), por isso tenho tudo isso, exceto por um curso rigoroso de álgebra abstrata, que estou me ensinando ... acabei estudando Redes Neurais para Padrões Reconhecimento, por Bishop. Para qualquer pessoa que esteja interessada, eu recomendo ...
Steve P.
2

Um livro muito bom (não realmente introdutório, mas não supõe conhecimento prévio em redes neurais) é Brian Ripley: "Reconhecimento de padrões e redes neurais", que eu diria que contém muitas de suas preliminares. Com um BS em matemática aplicada, você deve estar preparado.

kjetil b halvorsen
fonte
2

O tópico PRINCIPAL é estatística

cálculo multivariável

álgebra linear numérica (matrizes esparsas etc) otimização numérica (descida gradiente etc, programação quadrática)

convém ler sobre os processos gaussianos e as matemáticas necessárias lá, tentar fazer algumas aulas de processamento de imagem / processamento de linguagem natural

seanv507
fonte
Na verdade, estou fazendo um curso de PNL no outono.
13113 Steve P.