Além da equação bruta para o cálculo de informações mútuas, o que isso significa em termos físicos? Por exemplo: Na Teoria da Informação, sabemos que a entropia é o menor esquema de compactação sem perdas que podemos usar em um alfabeto com uma distribuição de probabilidade específica.
O que isso significa em termos de informações mútuas?
Antecedentes: estou tentando calcular as informações mútuas de palavras uni grama e determinar de qual dos dois livros eles vieram.
essencial
information-theory
CyberMen
fonte
fonte
Respostas:
A informação mútua, por definição, relaciona duas variáveis aleatórias (VR) e mede a dependência entre os dois RVs da perspectiva do conteúdo da informação, isto é, a medida da quantidade de informação contida por um VR sobre o outro VR. E informação mútua é uma quantidade simétrica, ou seja, .Eu( X; Y) = I( Y; X)
No caso de um canal de comunicação, a capacidade máxima alcançável para o canal é o máximo de informações mútuas entre a entrada e a saída do canal .C= maxp ( x )Eu( X; Y)
No seu caso, os dois RVs e corresponderiam a livros e palavras. A informação mútua mede a quantidade de informação comum entre um par (livro, palavra). Obviamente, você associaria a palavra ao livro com o qual você tem o máximo de informações mútuas. Essa é a abordagem máxima de informações mútuas.YX Y
fonte
Duas abordagens intuitivas adicionais sobre informações mútuas:
Porém, não tenho certeza do seu exemplo ... Informações mútuas são calculadas entre duas variáveis aleatórias (distribuições). Eu posso ver como "livro" pode representar a distribuição de palavras em um livro; mas não tenho certeza do que "palavra" significa aqui. A informação mútua também requer que as observações "emparelhadas" sejam computadas.
fonte