Como o log (p (x, y)) normaliza as informações mútuas pontuais?

9

Estou tentando entender a forma normalizada de informações mútuas pontuais.

npmEu=pmEu(x,y)euog(p(x,y))

Por que a probabilidade conjunta de log normaliza as informações mútuas pontuais entre [-1, 1]?

As informações mútuas pontuais são:

pmEu=euog(p(x,y)p(x)p(y))

p (x, y) é delimitado por [0, 1], então log (p (x, y)) é delimitado por (, 0). Parece que o log (p (x, y)) deve, de alguma forma, equilibrar as mudanças em o numerador, mas não entendo exatamente como, também me lembra a entropia , mas, novamente, não entendo a relação exata.h=-euog(p(x))

2 centavos
fonte
Para iniciantes, informações mútuas pontuais usam logaritmo (não tenho certeza se o erro de digitação ou você está usando outra quantidade ).
Piotr Migdal 24/03

Respostas:

12

Da entrada da Wikipedia em informações mútuas pontuais :

Informações mútuas pontuais podem ser normalizadas entre [-1, + 1], resultando em -1 (no limite) para nunca ocorrerem juntos, 0 para independência e +1 para co-ocorrência completa.

Por que isso acontece? Bem, a definição para informações mútuas pontuais é

pmEuregistro[p(x,y)p(x)p(y)]=registrop(x,y)-registrop(x)-registrop(y),

considerando que, para informações mútuas normalizadas em sentido normal, é:

npmEupmEu-registrop(x,y)=registro[p(x)p(y)]registrop(x,y)-1

O quando houver:

  • sem co-ocorrências, , então nmpi é -1,registrop(x,y)-
  • co-ocorrências aleatoriamente, , de modo que nmpi é 0,registrop(x,y)=registro[p(x)p(y)]
  • registrop(x,y)=registrop(x)=registrop(y)
Piotr Migdal
fonte
[-1 1,1 1]
1

[-1 1,1 1]

registrop(x,y)registrop(x,y))-registrop(x)-registrop(y)=registrop(x,y)p(x)p(y)=:pmi(x;y)=registrop(y|x)+registrop(y|x)-registrop(x,y)-registrop(x,y)
-registrop(UMA)0 0UMAh(x,y): =-registrop(x,y)
-1 1nmpi(x;y): =mpi (x; y)h(x,y)1

Hans
fonte