Qual é o significado de Informações Mútuas além do cálculo numérico?

8

Além da equação bruta para o cálculo de informações mútuas, o que isso significa em termos físicos? Por exemplo: Na Teoria da Informação, sabemos que a entropia é o menor esquema de compactação sem perdas que podemos usar em um alfabeto com uma distribuição de probabilidade específica.

O que isso significa em termos de informações mútuas?

Antecedentes: estou tentando calcular as informações mútuas de palavras uni grama e determinar de qual dos dois livros eles vieram.

essencial

I(book;word)
CyberMen
fonte
Aqui estão alguns links que eu achei que também podem ajudá-lo: ( stats.stackexchange.com/search?q=mutual+information )
Spacey

Respostas:

6

A informação mútua, por definição, relaciona duas variáveis ​​aleatórias (VR) e mede a dependência entre os dois RVs da perspectiva do conteúdo da informação, isto é, a medida da quantidade de informação contida por um VR sobre o outro VR. E informação mútua é uma quantidade simétrica, ou seja, .I(X;Y)=I(Y;X)

No caso de um canal de comunicação, a capacidade máxima alcançável para o canal é o máximo de informações mútuas entre a entrada e a saída do canal .C=maxp(x)I(X;Y)

No seu caso, os dois RVs e corresponderiam a livros e palavras. A informação mútua mede a quantidade de informação comum entre um par (livro, palavra). Obviamente, você associaria a palavra ao livro com o qual você tem o máximo de informações mútuas. Essa é a abordagem máxima de informações mútuas.YXY

sauravrt
fonte
Poderia usar mais parágrafos, gramática e menos livros didáticos, como tom, mas, caso contrário, muito claro.
CyberMen
6

Duas abordagens intuitivas adicionais sobre informações mútuas:

  • p(x,y)p(x)p(y)p(x)×p(y)p(x,y)- essa distância é 0 quando as duas variáveis ​​são independentes. Uma distância probabilística comum entre variáveis ​​é a divergência de Kullback-Leibler. Se você considerar a divergência de Kullback-Leibler entre a distribuição conjunta e o produto dos marginais de duas variáveis ​​aleatórias, você terá ... informações mútuas.

  • N(x,y)N×H(X)+N×H(Y)N×H(X,Y)N×H(X)+N×H(Y)N×H(X,Y)N=I(X,Y)

Porém, não tenho certeza do seu exemplo ... Informações mútuas são calculadas entre duas variáveis ​​aleatórias (distribuições). Eu posso ver como "livro" pode representar a distribuição de palavras em um livro; mas não tenho certeza do que "palavra" significa aqui. A informação mútua também requer que as observações "emparelhadas" sejam computadas.

pichenettes
fonte
Pense em ter vários livros da categoria. (basicamente, é possível computar P (c) = #books de C / # totalbooks palavras -. uso histograma.)
CYBERMEN
A qual categoria você está se referindo? Quais são seus pares de observações?
pichenettes