Eu tenho uma dúvida muito básica. Desculpe se isso irrita poucos. Eu sei que o valor de Informações Mútuas deve ser maior que 0, mas deve ser menor que 1? É limitado por algum valor superior?
Obrigado, Amit.
11
Eu tenho uma dúvida muito básica. Desculpe se isso irrita poucos. Eu sei que o valor de Informações Mútuas deve ser maior que 0, mas deve ser menor que 1? É limitado por algum valor superior?
Obrigado, Amit.
Sim, ele tem um limite superior, mas não 1.
A informação mútua (em bits) é 1 quando duas partes (estatisticamente) compartilham um bit de informação. No entanto, eles podem compartilhar um grande volume de dados arbitrário. Em particular, se eles compartilham 2 bits, então é 2.
A informação mútua é delimitada de cima pela entropia de Shannon das distribuições de probabilidade para partes únicas, ou seja, .