Uma questão de aprendizado de paridade

Vamos definir uma classe de funções sobre um conjunto de bits. Corrija duas distribuições que são "razoavelmente" diferentes uma da outra (se desejar, a distância variacional é pelo menos ou algo semelhante). $n$ $p, q$ $\epsilon$

Agora, cada função nesta classe é definida por um conjunto de índices de , e é avaliado da seguinte maneira: Se a paridade dos bits seleccionados é 0, retornar uma amostra aleatória a partir de , mais retornar uma amostra aleatória de . $f$ $k$ $S$ $p$ $q$

Problema : Suponha que eu sou dado acesso oráculo para alguns a partir desta classe, e enquanto eu sei (ou alguma outra medida de distância), eu não sei e . $f$ $\epsilon$ $p$ $q$

Existe algum limite no número de chamadas que preciso fazer para o PAC-learn ? Presumivelmente, a minha resposta vai ser em termos de e . $f$ $n, k$ $\epsilon$

Nota : não especifiquei o domínio de saída. Novamente, eu sou flexível, mas por agora vamos dizer que e são definidos sobre um domínio finito . Em geral, eu também estaria interessado no caso em que eles são definidos sobre (por exemplo, se forem gaussianos) $p$ $q$ $[1..M]$ ${\mathbb R}$

lg.learning Suresh Venkat
fonte

Não sei se entendi o modelo. O que você especifica em uma chamada da Oracle? Os exemplos são sempre retirados da distribuição especificada pelo destino?

Lev Reyzin

Em uma chamada oracle, você invoca f () e ele retorna um valor.

quer tocar hoje

Então, dependendo da função de destino

é sempre usado para gerar exemplos? (Presumo que você esteja aprendendo um pouco sobre a classe

)

f \in F

$f \in F$

p

$p$

q

$q$

F

$F$

Lev Reyzin

Sim, está correto. o problema é saber quais um (ou aprender o bit de paridade sendo usado)

Suresh Venkat

Não tenho certeza de como você adapta o modelo PAC a esse modelo. Mas parece que é suficiente ser capaz de distinguir

com probabilidade

e, em seguida, você pode obter os valores de

para

linearmente independentes

e usar a eliminação gaussiana para encontrar

(desde que

é linear). distinguir dois gaussianos bem separados será fácil, por exemplo.

p

$p$

q

$q$

1 - 1 / (2 k)

$1 - 1/(2k)$

f (x)

$f(x)$

k

$k$

x

$x$

f

$f$

f

$f$

Sasho Nikolov

Respostas:

A discussão nos comentários abaixo indica que eu entendi mal a pergunta. Minha resposta tem como premissa o Oráculo tomar nenhuma entrada e retorno , onde ou , dependendo . Aparentemente, não é isso que está sendo perguntado. $(x, f(x))$ $x \sim p$ $x \sim q$ $f \in F$

Uma vez que a distribuição alvo é fixada para cada alvo , o PAC-amostra limite superior aplica-se (o que decorre do facto de que a distribuição alvo para esta ligado pode depender mesmo completamente em ). Assim, $f^* \in F$ $f^*$ exemplos devem ser suficientes para encontrar uma hipótese de errowp. Nota - depois de ver esses exemplos, é preciso encontrar uma hipótese consistente de, e isso pode não ser tratável.

m \leq \tilde{O} (\frac{1}{ϵ} (V C (F) + \log (1 / δ)))

$m \le \tilde{O}\left(\frac{1}{\epsilon}\left(\mathrm{VC}(F) + \log(1/\delta) \right) \right)$

\leq ϵ

$\le \epsilon$

\geq 1 - δ

$\ge 1-\delta$

F

$F$

$p=q=U$ $m \ge \Omega(\mathrm{VC}(F))$

$p$ $q$ $k$

Lev Reyzin
fonte

(f, D)

$(f,D)$

x

$x$

D

$D$

(x, f (x))

$(x, f(x))$

f

$f$

n

$n$ ) Lev, sua resposta assume um oráculo do primeiro tipo ou do segundo tipo? Se o segundo tipo, ainda estamos falando sobre a aprendizagem do PAC?

Keki Burjorjee

(x, f (x))

$(x, f(x))$

x \sim D

$x \sim D$

f

$f$

p

$p$

q

$q$

p = q

$p=q$

p

$p$

q

$q$

f

$f$

x

$x$

f (x)

$f(x)$

p

$p$

q

$q$

x

$x$

p = N (+ 0.25, 1)

$p=\mathcal N(+0.25, 1)$

q = N (- 0.25, 1)

$q = \mathcal N(-0.25, 1)$ def fitness() ...random_number_generator.set_seed(x)