Como calcular informações mútuas?

10

Eu estou um pouco confuso. Alguém pode me explicar como calcular informações mútuas entre dois termos com base em uma matriz termo-documento com ocorrência de termos binários como pesos?

WhyHowWhenWhereDocument11111Document21010Document31110

I(X;Y)=yYxXp(x,y)log(p(x,y)p(x)p(y))

Obrigado

user18075
fonte
O que são e Y ? XY
usar o seguinte
X e Y são termos. X pode ser "Por que" e Y pode ser "Como".
user18075

Respostas:

7

I(X,Y)=H(X)+H(Y)H(X,Y).
Zoran
fonte
11
H(X)H(Y)H(X,Y)p(x,y),p(x)p(y)
2
as fórmulas são equivalentes, exceto que as últimas podem ser mais interpretáveis ​​à primeira vista.
Zoran