Interpretação da entropia para distribuição contínua?

7

"Entropia" captura aproximadamente o grau de "informação" em uma distribuição de probabilidade.

Para distribuições discretas, há uma interpretação muito mais exata: A entropia de uma variável aleatória discreta é um limite inferior ao número esperado de bits necessários para transferir o resultado da variável aleatória.

Mas para uma variável aleatória contínua, há um número incontável de resultados, portanto não podemos sequer começar a transferir qual resultado exato ocorreu em uma sequência finita de bits.

O que é uma interpretação equivalente de entropia para variáveis ​​contínuas?

user56834
fonte
11
Você tem alguma definição de "grau de informação" em uma distribuição de probabilidade?
Kjetil b halvorsen
@kjetilbhalverson, não vejo para onde você está indo com isso? A pergunta não é clara?
User56834 22/05
Eu acho que boas respostas são dadas aqui e aqui .
COOLSerdash
@COOLSerdash perfect. Você poderia fazer uma resposta ligando para esses dois, e eu vou lhe dar os pontos.
user56834
@ Programmer2134 Eu realmente aprecio isso, mas não me sinto confortável postando links sem muito contexto (o que é desencorajado aqui) e obtendo pontos por isso. Eu sinto Muito.
precisa

Respostas:

4

Devido à limitação da densidade de pontos discretos , a interpretação de não pode ser generalizada para

S=xp(x)lnp(x)
S=dx(p(x)lnp(x))

Como a generalização direta leva a Claramente, explode.

S=dxp(x)ln(p(x)dx)=dxp(x)ln(p(x))dxp(x)ln(dx)
lndx

Intuitivamente, desde , o raciocínio de usar menos bits para codificar algo com maior probabilidade de acontecer não se mantém . Portanto, precisamos encontrar outra maneira de interpretar , e a escolha é a divergência de .p(x)dx=0S=dxp(x)ln(p(x)dx)KL

Digamos que temos uma distribuição uniforme no mesmo espaço de estado, então temos Como é apenas uma constante, mantemos efetivamente a forma de e ao mesmo tempo, construa uma quantidade bem definida para a distribuição contínua .q(x)

KL(p(x)q(x))=dxp(x)ln(p(x)dxq(x)dx)
q(x)S=dx(p(x)ln(p(x)dx))p(x)

Portanto, a partir da divergência , a entropia de uma distribuição contínua pode ser interpretada como:KLp(x)

Se usarmos uma distribuição uniforme para codificar , quantos bits serão desnecessários em média.p(x)

meTchaikovsky
fonte
Sua última frase trata do tópico da pergunta, mas na verdade não a responde: qual é a interpretação dessa “propriedade intrínseca”, se não for o número de bits?
user56834
2
A entropia é a expectativa de . É uma questão de educação matemática que as pessoas geralmente preferem escrever a definição como você, escrever primeiro e depois pegar o sinal de menos fora da integral, mas sua resposta precisa dessa correção. . ln(1/P)lnP
Nick Cox
@ Nick Cox Obrigado por apontar isso, eu editei isso.
precisa saber é o seguinte
@ Programmer2134 Eu editei minha resposta, espero que ela resolva a questão melhor.
precisa saber é o seguinte
@ Programmer2134 Graças à sua pergunta, descobri que não entendi totalmente a interpretação de . Corrigi minha resposta. p(x)lnp(x)
precisa saber é o seguinte
2

Você discretiza o problema através de uma densidade de probabilidade. Uma variável aleatória contínua tem uma densidade , que se aproxima localmente do provável , que agora é um análogo do caso discreto . E pela teoria do cálculo, suas somas tornam-se equivalentes ao seu espaço de estados.f(x)P(X[x,x+δx])f(x)δx

Alex R.
fonte
11
Posso estar perdendo alguma coisa, mas minha pergunta era sobre uma interpretação. Eu sei que uma integral é um limite de somas.
User56834
11
Esta é uma resposta muito otimista! Acredito itis muito mais complicado
b Kjetil Halvorsen
@kjetilbhalvorsen: Sim, há muitos detalhes aqui embaixo da mesa. Para o benefício do OP, consulte a seção 2.3.1: crmarsh.com/static/pdf/Charles_Marsh_Continuous_Entropy.pdf
Alex R.
11
Você poderia elaborar esta resposta? Parece sugerir que você pode aproximar a entropia contínua discretizando a distribuição com pequenos compartimentos. Mas o teu link mostra isso não funcionar, e até mesmo diz que "a fórmula para entropia contínua não é uma derivação de qualquer coisa"
Jonny Lomond