Complexidade da consulta computacional do SQ-learning

12

Sabe-se que, para a aprendizagem do PAC, existem classes de conceitos naturais (por exemplo, subconjuntos de listas de decisão) para as quais existem lacunas polinomiais entre a complexidade da amostra necessária para o aprendizado da teoria da informação por um aprendiz computacionalmente ilimitado e a complexidade da amostra necessária para um aluno polinomial. aprendiz de tempo. (consulte, por exemplo, http://portal.acm.org/citation.cfm?id=267489&dl=GUIDE ou http://portal.acm.org/citation.cfm?id=301437 )

Entretanto, esses resultados dependem da codificação de um segredo em exemplos específicos e, portanto, não se traduzem naturalmente no modelo SQ da aprendizagem, onde o aluno apenas consulta as propriedades estatísticas da distribuição.

Sabe-se se existem classes de conceitos para as quais o aprendizado teórico da informação no modelo SQ é possível com consultas O (f (n)), mas o aprendizado computacionalmente eficiente só é possível com consultas Omega (g (n)) para g (n ) >> f (n)?

Aaron Roth
fonte

Respostas:

9

Eu já fiz essa pergunta há um tempo atrás. Pelo menos para aprender com relação a uma distribuição específica, há um exemplo bastante simples de uma classe conceitual que é uma informação que pode ser aprendida em SQ, mas é difícil de aprender em SQ. Seja \ phi uma codificação binária de uma instância SAT e y seja sua primeira atribuição lexicograficamente satisfatória (ou 0 ^ n é a instância insatisfatória). Agora seja f (\ phi) uma função que mais da metade do domínio seja o MAJ (\ phi) e na segunda metade do domínio seja igual a PAR (y). Aqui MAJ é a função majoritária sobre variáveis ​​definidas como 1 na cadeia \ phi e PAR (y) é a função de paridade sobre variáveis ​​definidas como 1 na cadeia y. Seja F a classe de funções obtida dessa maneira. Para SQ aprender F sobre a distribuição uniforme U, é necessário apenas aprender maiorias (o que é fácil) para encontrar \ phi e depois encontrar y. Por outro lado, é bastante fácil reduzir o aprendizado de SAT para SQ de F (com uma precisão notoriamente maior que 3/4) sobre a distribuição uniforme. A razão para isso, naturalmente, é que as paridades são essencialmente "invisíveis" para os SQs e, portanto, é necessário resolver o SAT para aprender F.

Vitaly
fonte
5

Esta é uma boa pergunta. O poder do modelo de consulta estatística é precisamente a capacidade de provar limites inferiores incondicionais para o aprendizado com SQ - por exemplo, a paridade não é aprendível com um número polinomial de consultas estatísticas.

Não estou ciente dos resultados do formulário que você solicita, mas talvez estejamos perdendo algo óbvio ...

Lev Reyzin
fonte