Vazamento suave de informações ao longo do tempo

Digamos que eu tenho uma variável aleatória de um bit e seja um número natural. Eu quero uma sequência de variáveis aleatórias st $X \in \{0,1\}$ $n$ $0 = X_0, X_1, \ldots, X_n = X$

H (X | {X_{0}, \dots, X_{k}}) = 1 - \frac{k}{n}

$H\left(X~|~\{X_0,\ldots,X_k\}\right) = 1-\frac{k}{n}$

Isto é, cada um adicional fornece da informação de , até que tudo o que é revelado por . Existe uma boa construção para esta sequência? $X_k$ $1/n$ $X$ $X_n = X$

it.information-theory shannon-entropy Geoffrey Irving
fonte

Respostas:

Via Michael Kass: seja um processo Wiener começando em e defina $Y(t)$ $Y(0) = X$

f (t) = H (X | Y (t))

$f(t) = H(X~|~Y(t))$

Em seguida, , , e é suavemente estritamente crescente no meio. Assim, para qualquer podemos encontrar r tem a entropia condicional desejado ( irá ser uma função decrescente da ). $f(0) = 0$ $f(\infty)=1$ $f(t)$ $k$ $0 \le t \le \infty$ $X_k = Y(t)$ $t$ $k$

Geoffrey Irving
fonte

Você não poderia simplesmente tomar

onde

é XOR e

é Bernoulli independente com média

X_{k} = X \oplus Y_{k}

$X_k = X \oplus Y_k$

\oplus

$\oplus$

Y_{k}

$Y_k$

p_{k}

$p_k$

Sasho Nikolov

Sim, esse é um método reconhecidamente mais simples. :)

Geoffrey Irving

O problema com a construção anterior é que não há garantia de que seja inequivocamente revelado após a transmissão de bits (o que parece ser um requisito). Aqui está uma construção semelhante que funciona se for ímpar. Gerar bits aleatórios com probabilidade de 1/2, . Deixe- e ser o número de 1 e 0 em . Agora, transmita S se e $X$ $n$ $n$ $n$ $S=Y_0, Y_1,...$ $N(0)$ $N(1)$ $S$ $X=1$ ou e ; transmitir de outra forma a um complemento de . $N(1)>N(0)$ $X=0$ $N(1)<N(0)$ $S$

siravan
fonte

n = 3

$n=3$

X

$X$

Correção. Minha análise anterior não está correta. Eu acho que existem duas maneiras de ver isso. O algoritmo é simétrico em bits e transmite um bit total de informações, portanto, cada bit deve contribuir com 1 / n bits de informação. Mas se queremos calcular as probabilidades condicionais, as coisas ficam confusas. Acredito que a situação é uma variante do problema de Monty Hall ( en.wikipedia.org/wiki/Monty_Hall_problem ).

siravan

Y (0) = X

$Y(0) = X$