Ganho de informações, informações mútuas e medidas relacionadas

Andrew More define ganho de informação como:

$IG(Y|X) = H(Y) - H(Y|X)$

onde é a entropia condicional . No entanto, a Wikipedia chama a quantidade acima de informações mútuas .$H(Y|X)$

A Wikipedia, por outro lado, define ganho de informação como a divergência de Kullback – Leibler (também conhecida como divergência de informação ou entropia relativa) entre duas variáveis ​​aleatórias:

$D_{KL}(P||Q) = H(P,Q) - H(P)$

onde é definido como a entropia cruzada .$H(P,Q)$

Essas duas definições parecem ser inconsistentes uma com a outra.

Também vi outros autores falando sobre dois conceitos adicionais relacionados, a saber, entropia diferencial e ganho relativo de informações.

Qual é a definição ou relação precisa entre essas quantidades? Existe um bom livro de texto que cubra todos eles?

• Ganho de informação
• Informação mútua
• Entropia cruzada
• Entropia condicional
• Entropia diferencial
• Ganho de informações relativas

Eu acho que chamar a divergência de Kullback-Leibler de "ganho de informação" não é padrão.

A primeira definição é padrão.

EDIT: No entanto, também pode ser chamado de informação mútua.$H(Y)−H(Y|X)$

Note que acho que você não encontrará nenhuma disciplina científica que realmente tenha um esquema de nomeação padronizado, preciso e consistente. Portanto, você sempre terá que olhar para as fórmulas, porque elas geralmente oferecem uma idéia melhor.

Livros didáticos: consulte "Boa introdução a diferentes tipos de entropia" .

Também: Cosma Shalizi: Métodos e Técnicas da Ciência de Sistemas Complexos: Uma Visão Geral, capítulo 1 (pp. 33-114) em Thomas S. Deisboeck e J. Yasha Kresh (eds.), Ciência de Sistemas Complexos em Biomedicina http: // arxiv.org/abs/nlin.AO/0307015

Robert M. Gray: Teoria da entropia e da informação http://ee.stanford.edu/~gray/it.html

David MacKay: teoria da informação, inferência e algoritmos de aprendizado http://www.inference.phy.cam.ac.uk/mackay/itila/book.html

Além disso, "O que é" entropia e ganho de informação "?"

$p(X,Y)$$P(X)P(Y)$

$$\begin{align} I(X; Y) &= H(Y) - H(Y \mid X)\\ &= - \sum_y p(y) \log p(y) + \sum_{x,y} p(x) p(y\mid x) \log p(y\mid x)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{y} \left(\sum_{x}p(x,y)\right) \log p(y)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{x,y}p(x, y) \log p(y)\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)}{p(y)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)p(x)}{p(y)p(x)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(x, y)}{p(y)p(x)}\\ &= \mathcal D_{KL} (P(X,Y)\mid\mid P(X)P(Y)) \end{align}$$

$p(y) = \sum_x p(x,y)$

$$\begin{align*} I(X;Y) = D_{KL}(p(x,y)||p(x)p(y)). \end{align*}$$

Extrair informações mútuas de conjuntos de dados textuais como um recurso para treinar o modelo de aprendizado de máquina: (a tarefa era prever idade, sexo e personalidade dos blogueiros)

Ambas as definições estão corretas e consistentes. Não sei ao certo o que você acha incerto ao apontar vários pontos que podem precisar de esclarecimentos.

$MI_{Mutual Information}\equiv$ $IG_{InformationGain}\equiv I_{Information}$são todos nomes diferentes para a mesma coisa. Em contextos diferentes, um desses nomes pode ser preferível, vou chamá-lo aqui em Information .

$D_{KL}$$K_{LD}$$K_{LD}$independente . Chamamos essa quantidade de informação .

$\operatorname{H} (X,Y)$

$$\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X|Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y|X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X|Y)-\mathrm {H} (Y|X)\end{aligned}$$ $\operatorname{H}(X,Y)$$DKL(P||Q)=H(P,Q)−H(P)$$\operatorname{H}(P,Q)$

Entropia comum e entropia cruzada NÃO são iguais.

$H_q(p)$

Eu espero ver essa notação aceita e as páginas wiki atualizadas.