Que tipo de problemas matemáticos existem na IA em que as pessoas estão trabalhando?

Recentemente, consegui uma posição pós-doc de 18 meses em um departamento de matemática. É uma posição com dever de ensino relativamente leve e muita liberdade sobre o tipo de pesquisa que eu quero fazer.

Anteriormente, eu estava pesquisando principalmente em probabilidade e combinatória. Mas estou pensando em fazer um trabalho um pouco mais orientado a aplicativos, por exemplo, AI. (Há também a consideração de que há boas chances de eu não conseguir uma posição de tenure track no final da minha posição atual. Aprender um pouco de IA pode ser útil para outras possibilidades de carreira.)

Que tipo de problemas matemáticos existem na IA em que as pessoas estão trabalhando? Pelo que ouvi falar, há pessoas estudando

• Autômato finito determinístico
• Problemas de bandidos com várias armas
• Pesquisa de árvore em Monte Carlo
• Detecção da comunidade

Algum outro exemplo?

Na inteligência artificial (às vezes chamada inteligência de máquina ou inteligência computacional ), existem vários problemas baseados em tópicos matemáticos, especialmente otimização, estatística, teoria das probabilidades, cálculo e álgebra linear.

Marcus Hutter trabalhou em uma teoria matemática para inteligência geral artificial , chamada AIXI , que é baseada em vários conceitos de ciências matemáticas e de computação, como aprendizado por reforço, teoria das probabilidades (por exemplo, teorema de Bayes e tópicos relacionados) , teoria das medidas , teoria da informação algorítmica (por exemplo, Complexidade de Kolmogorov), otimização, indução de Salomonoff , pesquisa universal de Levin e teoria da computação (por exemplo, máquinas de Turing universais). Seu livro Inteligência Artificial Universal: Decisões Sequenciais Baseadas em Probabilidade Algorítmica, que é um livro altamente técnico e matemático, descreve sua teoria dos melhores agentes de aprendizado Bayesiano não-Markov.

Há também o campo de pesquisa chamado teoria do aprendizado computacional , que é dedicado ao estudo do design e análise de algoritmos de aprendizado de máquina. Mais precisamente, o campo se concentra no estudo rigoroso e na análise matemática de algoritmos de aprendizado de máquina usando técnicas de campos como teoria das probabilidades, estatística, otimização, teoria da informação e geometria. Várias pessoas já trabalharam na teoria do aprendizado computacional, incluindo Michael Kearns e Vladimir Vapnik . Há também um campo relacionado chamado teoria da aprendizagem estatística .

Também há muito esforço de pesquisa dedicado a aproximações (heurísticas) da otimização combinatória e problemas completos de NP , como a otimização de colônias de formigas .

Há também algum trabalho sobre a completude da IA , mas isso não recebeu muita atenção (em comparação com as outras áreas de pesquisa mencionadas acima).

A maior parte do trabalho de matemática que está sendo feito na IA que eu conheço já é abordada na resposta da nbro. Uma coisa que eu não acredito que esteja coberta ainda nessa resposta é provar equivalência algorítmica e / ou derivar algoritmos equivalentes . Um dos meus trabalhos favoritos é Aprender a prever o independente da extensão, de Hado van Hasselt e Richard Sutton.

A idéia básica é que primeiro possamos formular um algoritmo (na forma matemática, por exemplo, algumas regras / equações de atualização para parâmetros que estamos treinando) de uma maneira e depois encontrar regras / equações de atualização diferentes (ou seja, um algoritmo diferente) para o que podemos provar que é equivalente ao primeiro (ou seja, sempre resulta no mesmo resultado).

Um caso típico em que isso é útil é se o primeiro algoritmo é fácil de entender / apela à nossa intuição / é mais conveniente para provas de convergência ou outras análises teóricas, e o segundo algoritmo é mais eficiente (em termos de computação, requisitos de memória etc.) .).

Especificamente para aparelhos matemáticos de Redes Neurais - teoria da matriz aleatória . A teoria da matriz aleatória não assintótica foi usada em algumas provas de convergência da descida do gradiente para redes neurais ; paisagens aleatórias de alta dimensão em conexão com o espectro de Hessian têm relação com superfícies de perda de redes neurais .

A análise de dados topológicos é outra área de intensa pesquisa relacionada ao ML, AI e aplicada às redes neurais .

Houve alguns trabalhos sobre Geometria Tropical de Redes Neurais

A teoria do tipo de homotopia também tem conexão com a IA