Dado , encontre um subcubo com grande volume e grande valor médio

Aqui está um problema com um sabor semelhante ao aprendizado de juntas:

Entrada: Uma função , representada por um oracle de associação, ou seja, um oracle que forneceu , retorna . $f: \{0,1\}^n \rightarrow \{-1,1\}$ $x$ $f(x)$

Objetivo: Encontre um subcubo de com volume modo que . Assumimos que esse subcubo exista. $S$ $\{0,1\}^n$ $|S|=2^{n-k}$ $\left|\mathbb{E}_{x \in S} f(x) \right| \ge 0.1$

É fácil obter um algoritmo que seja executado no tempo e retorne uma resposta correta com probabilidade , tentando todas as maneiras de escolher um subcubo e amostrar a média em cada um. $n^{O(k)}$ $\ge 0.99$ $(2n)^k$

Eu sou interessante em encontrar um algoritmo que é executado no tempo . Como alternativa, um limite inferior seria ótimo. O problema tem um sabor semelhante ao aprendizado de juntas, mas não vejo uma conexão real entre as dificuldades computacionais. $poly(n,2^k)$

Atualização: @Thomas abaixo prova que a complexidade da amostra deste problema é . A questão interessante é, ainda, a complexidade computacional do problema. $poly(2^k,\log n)$

Edit: você pode assumir por simplicidade que existe um subcubo com (observe a lacuna: estamos procurando um subcubo com média .) Tenho certeza de que qualquer solução para o problema da lacuna também resolverá o problema sem a lacuna. $\left|\mathbb{E}_{x \in S} f(x) \right| \ge 0.2$ $\ge 0.1$

machine-learning lg.learning boolean-functions sample-complexity bolinho de massa mobius
fonte

Aqui está uma ligação melhor à complexidade da amostra. (Embora a complexidade computacional ainda seja .) $n^k$

Teorema. Suponha que exista um subcubo de tamanho tal que . Com amostras , podemos, com alta probabilidade, identificar um subcubo do tamanho modo que . $S$ $2^{n-k}$ $|\mathbb{E}_{x \in S}[f(x)]| \geq 0.12$ $O(2^k \cdot k \cdot \log n)$ $S'$ $2^{n-k}$ $|\mathbb{E}_{x \in S'}[f(x)]| \geq 0.1$

Observe a pequena perda nos parâmetros ( é ideal versus garantia de ). $0.12$ $0.1$

Prova. Escolha pontos uniformemente aleatoriamente e consulta em cada . $m$ $P \subset \{0,1\}^n$ $f$ $x \in P$

Corrija um subcubo de tamanho . Temos . Por um limite de Chernoff,Também $S$ $2^{n-k}$ $\mathbb{E}[|S \cap P|]=m 2^{-k}$

P [| S \cap P | < m 2^{- k - 1}] \leq 2^{- Ω (m 2^{- k})} .

$\mathbb{P}[|S \cap P| < m 2^{-k-1}] \leq 2^{-\Omega(m 2^{-k})}.$

P [| E_{x \in S \cap P} [f (x)] - E_{x \in S} [f (x)] | > ε] \leq 2^{- Ω (| S \cap P | ε^{2})} .

$\mathbb{P}[| \mathbb{E}_{x \in S \cap P}[f(x)] - \mathbb{E}_{x \in S}[f(x)] | > \varepsilon] \leq 2^{-\Omega(|S \cap P| \varepsilon^2)}.$

Por uma união vinculada a todas as opções de , temosPortanto, escolhendo , podemos garantir que, com probabilidade de pelo menos , possamos estimar dentro de para todos os subcubos de tamanho . ${n \choose k}2^k$ $S$

P [\forall S | E_{x \in S \cap P} [f (x)] - E_{x \in S} [f (x)] | \leq ε] \geq 1 - (\binom{n}{k}) 2^{k} 2^{- Ω (m 2^{- k} ε^{2})} .

$\mathbb{P}[\forall S ~~ | \mathbb{E}_{x \in S \cap P}[f(x)] - \mathbb{E}_{x \in S}[f(x)] | \leq \varepsilon] \geq 1 - {n \choose k} 2^k 2^{-\Omega(m 2^{-k} \varepsilon^2)}.$

m = O (2^{k} / ε^{2} \cdot k \log n)

$m = O(2^k/\varepsilon^2 \cdot k \log n)$

0.99

$0.99$

E_{x \in S} [f (x)]

$\mathbb{E}_{x \in S}[f(x)]$

ε

$\varepsilon$

S

$S$

2^{n - k}

$2^{n-k}$

Definindo , provamos o teorema: escolhendo o subcubo com o maiorcom alta probabilidade, satisfará os requisitos. QED $\varepsilon=0.01$ $| \mathbb{E}_{x \in S \cap P}[f(x)]|$

Thomas apoia Monica
fonte

Oh, uau, que bobagem da minha parte: sim, a idéia básica é que, se você provar pontos, um esperado deles estará em cada subcubo, portanto, com um valor modesto de que dá uma grande tamanho de amostra suficiente para resolver o problema, mesmo após a união de todos os limites Chernoff. Além disso, tenho certeza de que qualquer solução pode ser adaptada para eliminar a diferença entre 0,1 e 0,12, portanto, adicionarei isso como um comentário à pergunta. Obrigado!!

C \cdot 2^{k}

$C \cdot 2^k$

C

$C$

C

$C$

n^{k}

$n^k$

mobius bolinho de massa

Outra maneira de ver isso é que o espaço do intervalo que você descreve limita a dimensão de quebra e, portanto, a dimensão VC, e então você lança o teorema da aproximação eps nele.

precisa saber é o seguinte

Dado , encontre um subcubo com grande volume e grande valor médio

Respostas: