Poderia a informação mútua sobre a entropia conjunta:
ser definido como: "A probabilidade de transmitir uma informação de X para Y"?
Sinto muito por ser tão ingênuo, mas nunca estudei teoria da informação e estou apenas tentando entender alguns conceitos disso.
information-theory
mutual-information
luca maggi
fonte
fonte
Respostas:
A medida que você está descrevendo é chamada de Índice de qualidade da informação [IQR] (Wijaya, Sarno e Zulaika, 2017). IQR é uma informação mútua dividida por "incerteza total" (entropia conjunta) (fonte da imagem: Wijaya, Sarno e Zulaika, 2017).Eu( X, Y) H( X, Y)
Conforme descrito por Wijaya, Sarno e Zulaika (2017),
Você pode interpretá-lo como probabilidade de que o sinal seja perfeitamente reconstruído sem perda de informações . Observe que essa interpretação está mais próxima da interpretação subjetivista da probabilidade e depois da interpretação tradicional e freqüentista.
É uma probabilidade de um evento binário (reconstruir informações versus não), em que IQR = 1 significa que acreditamos que as informações reconstruídas são confiáveis e IQR = 0 significa o contrário. Ele compartilha todas as propriedades para probabilidades de eventos binários. Além disso, as entropias compartilham várias outras propriedades com probabilidades (por exemplo, definição de entropias condicionais, independência etc). Portanto, parece uma probabilidade e grasna.
Wijaya, DR, Sarno, R. e Zulaika, E. (2017). Índice de qualidade da informação como uma nova métrica para a seleção de wavelets mãe. Chemometrics and Intelligent Laboratory Systems, 160, 59-71.
fonte
Aqui está a definição de um espaço de probabilidade. Vamos usar as anotações lá. IQR é uma função de uma tupla( Ω , F, P, X, Y) (Os três primeiros componentes formam o espaço de probabilidade em que as duas variáveis aleatórias são definidas). Uma medida de probabilidade deve ser uma função definida que satisfaça todas as condições da definição listada na resposta de Tim. Será necessário especificar Θ : = ( Ω , F, P, X, Y) como algum subconjunto de um conjunto Ω~ . Além disso, o conjunto de Θ deve formar um campo de subconjuntos de Ω~ , e que o IQR ( Ω , F, P, X, Y) deve satisfazer todas as três propriedades listadas na definição de medida de probabilidade listada na resposta de Tim. Até que alguém construa esse objeto, é errado dizer que o IQR é uma medida de probabilidade. Eu, pelo menos não vejo a utilidade de uma medida de probabilidade tão complicada (não a função IQR em si, mas como uma medida de probabilidade). O IQR no artigo citado na resposta de Tim não é chamado ou usado como probabilidade, mas como métrica (o primeiro é um tipo do último, mas o último não é um tipo do primeiro).
fonte