Suponha que eu tenha dois conjuntos e e uma distribuição de probabilidade conjunta sobre esses conjuntos . Deixe e representam as distribuições marginais mais de e , respectivamente.Y p ( x , y ) p ( x ) p ( y ) X Y
As informações mútuas entre e são definidas como: Y I ( X ; Y ) = ∑ x , y p ( x , y ) ⋅ log ( p ( x , y )
ou seja, é o valor médio das informações mútuas pontuais pmi .
Suponha que eu conheça os limites superior e inferior no pmi : ou seja, eu sei que para todos os o seguinte vale:
Qual limite superior isso implica em . É claro que implica , mas eu gostaria de um limite mais rígido, se possível. Isso me parece plausível porque p define uma distribuição de probabilidade e pmi não pode assumir seu valor máximo (ou mesmo não ser negativo) para todos os valores de e .
Respostas:
Minha contribuição consiste em um exemplo. Ele ilustra alguns limites de como as informações mútuas podem ser limitadas, com base nas informações mútuas pontuais.
Tome e p ( x ) = 1 / N para todos x ∈ X . Para qualquer m ∈ { 1 , … , n / 2 } seja k > 0 a solução da equação m e k + ( n - m ) e - k = n .X=Y={1,…,n} p(x)=1/n x∈X m∈{1,…,n/2} k>0
Pela construção, é claro que para todos os x , y ∈ { 1 , … , n } e (após alguns cálculos) I ( X ; Y ) = k n mpmi(x,y)∈{−k,k}, x,y∈{1,…,n}
com a informação mútua comportar comoK2/2parak→0e comokparak→∞.
fonte
Não tenho certeza se é isso que você está procurando, pois é principalmente algébrico e não está realmente aproveitando as propriedades de p como uma distribuição de probabilidade, mas aqui está algo que você pode tentar.
Não tenho certeza se isso é útil ou não.
EDIT: Após uma revisão mais aprofundada, acredito que isso é realmente menos útil do que o limite superior original de k. Não vou excluir isso, no entanto, caso isso possa sugerir um ponto de partida.
fonte