Existe algum trabalho combinando aprendizado de máquina e as formas mais exóticas da teoria da complexidade?

13

Parece-me que os especialistas em aprendizado de máquina / mineração de dados estão familiarizados com P e NP, mas raramente falam sobre algumas das classes de complexidade mais sutis (por exemplo, NC, BPP ou IP) e suas implicações para uma análise eficaz dos dados. Existe alguma pesquisa de trabalho fazendo isso?

cc.complexity-theory reference-request machine-learning Mike Izbicki
fonte
2
Nenhuma pesquisa que eu conheça, mas confira este ponteiro para "aprendizado quântico" (# 5) deste post: blog.computationalcomplexity.org/2012/10/quantum-workshop.html
Suresh Venkat
o aprendizado de máquina regularmente ataca problemas muito difíceis, provavelmente fora do NP para otimização "global", mas dentro do NP ou menos difícil que na otimização "local". então todo o conceito de classe de complexidade fica embaçado quando se está otimizando para resultados "suficientemente bons", que são medidos mais por medições de qualidade dependentes de aplicativos e, em certo sentido, não são realmente conhecidos a priori para executar o (s) algoritmo (s) ....
vzn
@vzn Para mim, essa sutileza parece mais uma razão para prestar atenção à complexidade! Pode fornecer algumas idéias muito interessantes.
9138 Mike Izbicki
certamente existem conexões entre teoria da aprendizagem, complexidade do circuito, criptografia. mas esse é o canto da teoria do aprendizado que está um pouco afastado da prática de aprendizado de máquina. Se você estiver interessado, eu posso vir acima com algumas dicas
Sasho Nikolov
Sim, outro exemplo: BDDs (diagramas de decisão binária) foram usados ​​em algoritmos de banco de dados / mineração de dados e possuem fortes conexões com a complexidade do circuito. mas parece-me que toda a pergunta pode ser um pouco complicada, porque muita aprendizagem de máquina é pragmática e a complexidade do ML aplicado é frequentemente estudada indireta / empiricamente através da análise de implementações reais de algoritmos, em vez de tentar antecipá-lo ou classificá-lo estritamente.
fácil

Respostas:

3

Há alguma diferença inerente ou dissimilaridade de abordagens entre os dois campos do aprendizado de máquina aplicado e da teoria da complexidade / TCS.

Aqui está um workshop recente sobre o assunto no Center for Computational Intratability, Princeton, com muitos vídeos.

Descrição: muitas abordagens atuais no aprendizado de máquina são heurísticas: não podemos provar bons limites nem no desempenho nem no tempo de execução. Este pequeno workshop se concentrará no projeto de design de algoritmos e abordagens cujo desempenho pode ser analisado rigorosamente. O objetivo é olhar além das configurações onde já existem limites prováveis.

Na TCS, uma área principal de estudo do "aprendizado", às vezes talvez confusa, também chamada de "aprendizado de máquina", é chamada de teoria do PAC, que significa Provavelmente Aproximadamente Correta. sua origem no início dos anos 80 antecede uma pesquisa muito mais moderna sobre "aprendizado de máquina". a wikipedia o chama de parte da teoria do aprendizado computacional de campo . O PAC geralmente diz respeito aos resultados da aprendizagem de fórmulas booleanas, dadas amostras estatísticas das distribuições, etc., e à precisão alcançável da aprendizagem, devido a vários algoritmos ou amostras limitadas. Isso é estudado de maneira teórica rigorosa, com vínculos com as classes de complexidade. Mas não é tanto uma página de estudo aplicado e wikipedias sobre aprendizado de máquina que nem a lista.

vzn
fonte
5
"wikipedia calls" ... você realmente sabe alguma coisa sobre o assunto? 1) o wiki para aprendizado de máquina possui uma seção Teoria que vincula a teoria da aprendizagem computacional na página 2) o trabalho da teoria de aprendizado de Valiant, Vapnik, Schapire, entre outros, teve um enorme impacto na prática do aprendizado de máquina.
Sasho Nikolov 5/10