Aprendendo análise funcional para estudar kernels

7

Estou tentando aprender mais sobre a teoria da máquina do kernel e descobri que preciso aprender muita matemática básica e, portanto, estou procurando bons recursos para isso. Em particular: eu tenho o livro Schölkopf and Smola's Learning with Kernels e eles começam a discutir transformações de Fourier, funções de Green, operadores (por exemplo, eu nunca ouvi falar de um operador pseudo-diferencial antes) e outras coisas assim. Não tenho experiência em trabalhar com nada disso, mas realmente quero entender. Embora eu possa certamente pesquisar exemplos individuais, eu realmente preferiria ter um tratamento mais abrangente.

Desculpe se isso é muito vago ou específico, mas estou realmente lutando para descobrir como começar a adquirir sistematicamente a matemática de fundo, para que eu possa trabalhar confortavelmente com os kernels e a teoria RKHS. Muito obrigado.

Atualização: Eu mantive meus conhecimentos de fora porque tinha medo de que isso fosse muito específico para mim, mas porque me perguntaram: fiz um curso em análise real e um curso em álgebra moderna, além de uma álgebra linear padrão e curso de cálculo multivariado. Eu não estudei equações diferenciais. Também fiz vários cursos de estatística matemática (incluindo alguns teóricos da medida, embora nunca tenha estudado formalmente a teoria da medida). Estou confortável com a estreita gama de estatísticas que estudei (por exemplo, LLN, CLT, famílias exponenciais, GLMs, modelos mistos, estatísticas completas e suficientes, ...), mas não tenho muita matemática pura fundo que sinto que está começando a me machucar.

machine-learning self-study references kernel-trick alfafa
fonte
2
Os termos que você mencionou se referem a equações diferenciais. Portanto, trabalhar com um texto relativamente acessível, como as Equações Diferenciais Elementares e os Problemas de Valor Limite de Boyce / DiPrima, pode ajudar bastante a estabelecer a matemática de fundo (transformações de Fourier, função de Green e operadores lineares recebem atenção neste texto).
Robert de Graaf
@RobertdeGraaf Muito obrigado pelo comentário. Esse é um ponto muito interessante - nunca estudei equações diferenciais, talvez essa seja uma grande peça que falta. Definitivamente vou olhar para esse livro.
Alfafa

Respostas:

2

Você não nos forneceu muitas informações sobre sua formação matemática atual. Você tem o histórico de um estudante típico de graduação em ciências ou engenharia (cálculo único e multivariável, equações diferenciais ordinárias e talvez uma exposição às séries de Fourier)? Você fez algum curso introdutório de análise?

Um livro clássico que apresenta a análise funcional aplicada a estudantes que possuem conhecimentos típicos de matemática em engenharia e algumas análises é Otimização por métodos de espaço vetorial por David G. Luenberger.

Brian Borchers
fonte
Muito obrigado pela sua resposta. Adicionei mais detalhes sobre meu histórico específico. Basicamente, sou formado em estatística aplicada.
Alfafa
O livro de Luenberger é provavelmente uma boa escolha para alguém com sua formação. O que é realmente importante aqui não é tanto o conceito do RKHS quanto o teorema do representador, que fornece condições sob as quais o seu problema de aprendizado de máquina se torna um problema de otimização dimensional finita.
precisa
Acabei de ler o índice desse livro e ele parece conter um grande número de tópicos dos quais me senti ignorante. Obrigado!
Alfalfa #