Limitar informações mútuas dadas limites em informações mútuas pontuais

17

Suponha que eu tenha dois conjuntos e e uma distribuição de probabilidade conjunta sobre esses conjuntos . Deixe e representam as distribuições marginais mais de e , respectivamente.Y p ( x , y ) p ( x ) p ( y ) X YXYp(x,y)p(x)p(y)XY

As informações mútuas entre e são definidas como: Y I ( X ; Y ) = x , y p ( x , y ) log ( p ( x , y )XY

I(X;Y)=x,yp(x,y)log(p(x,y)p(x)p(y))

ou seja, é o valor médio das informações mútuas pontuais pmi (x,y)log(p(x,y)p(x)p(y)) .

Suponha que eu conheça os limites superior e inferior no pmi (x,y) : ou seja, eu sei que para todos os x,y o seguinte vale:

klog(p(x,y)p(x)p(y))k

Qual limite superior isso implica em I(X;Y) . É claro que implica I(X;Y)k , mas eu gostaria de um limite mais rígido, se possível. Isso me parece plausível porque p define uma distribuição de probabilidade e pmi (x,y) não pode assumir seu valor máximo (ou mesmo não ser negativo) para todos os valores de x e y .

Florian
fonte
1
Quando as probabilidades conjunta e marginal são uniformes, pmi ( x , y ) é uniformemente zero (e, portanto, não negativo, aparentemente contradiz sua última afirmação, mas apenas por pouco). Parece-me, se não me engano, que perturbar essa situação em pequenos subconjuntos de X×Y indica que os limites no pmi não dizem quase nada sobre o próprio I(X;Y) .
whuber
1
De fato, se e são independentes, então é constante, independentemente das distribuições marginais. Portanto, há toda uma classe de distribuições para as quais obtém seu valor máximo para cada e . XYpmi(x,y)p(x,y)pmi(x,y)xy
cardeal
Sim, certamente é verdade que pmi pode ser igual para todos e , mas isso não descarta um limite mais restrito. Por exemplo, não é difícil provar que . Isso é quando e é um fortalecimento não trivial do limite quando . Gostaria de saber se existem limites não triviais que se mantêm de maneira mais geral. (x,y)xyI(X;Y)k(ek1)k2k<1kk<1
Florian
1
Duvido que você obtenha um limite melhor que para . Se você quiser procurar mais, tente reestruturar sua pergunta em termos da divergência de KL entre p (x) p (y) ep (x, y). A desigualdade de Pinsker fornece um limite inferior no MI que pode confirmar meu palpite. Veja também a Seção 4 de ajmaa.org/RGMIA/papers/v2n4/relog.pdf . O(k2)k0
vqv

Respostas:

4

Minha contribuição consiste em um exemplo. Ele ilustra alguns limites de como as informações mútuas podem ser limitadas, com base nas informações mútuas pontuais.

Tome e p ( x ) = 1 / N para todos x X . Para qualquer m { 1 , , n / 2 } seja k > 0 a solução da equação m e k + ( n - m ) e - k = n .X=Y={1,,n}p(x)=1/nxXm{1,,n/2}k>0

mek+(nm)ek=n.
Em seguida, colocar ponto de massa em n m pontos no espaço de produto { 1 , ... , n } 2 , de tal maneira que há m desses pontos em cada fila e de cada coluna. (Isso pode ser feito de várias maneiras. Comece, por exemplo, com os primeiros m pontos na primeira linha e preencha as linhas restantes deslocando os m pontos um para a direita com uma condição de contorno cíclico para cada linha). Colocamos a massa pontual e - k / n 2 no n restanteek/n2nm{1,,n}2mmmek/n2 pontos. A soma dessas massas pontuais é n mn2nm então eles fornecem uma medida de probabilidade. Todas as probabilidades de pontos marginais são m
nmn2ek+n2nmn2ek=mek+(nm)ekn=1,
então ambas as distribuições marginais são uniformes.
mn2ek+mnn2ek=1n,

Pela construção, é claro que para todos os x , y { 1 , , n } e (após alguns cálculos) I ( X ; Y ) = k n mpmi(x,y){k,k},x,y{1,,n} com a informação mútua comportar comoK2/2parak0e comokparak.

I(X;Y)=knmn2ekkn2nmn2ek=k(1ekekek(ek+ek)ek),
k2/2k0kk

NRH
fonte
1

Não tenho certeza se é isso que você está procurando, pois é principalmente algébrico e não está realmente aproveitando as propriedades de p como uma distribuição de probabilidade, mas aqui está algo que você pode tentar.

p(x,y)p(x)p(y)ekp(x,y)p(x)p(y)ekp(x,y)I(X;Y)I(X;Y)x,yp(x)p(y)eklog(p(x)p(y)ekp(x)p(y))=x,yp(x)p(y)ekk

Não tenho certeza se isso é útil ou não.

EDIT: Após uma revisão mais aprofundada, acredito que isso é realmente menos útil do que o limite superior original de k. Não vou excluir isso, no entanto, caso isso possa sugerir um ponto de partida.

Michael McGowan
fonte
x,yp(x)p(y)=1k0ek1
Sim, quando percebi que fiz minha edição.
Michael McGowan