"Entropia" captura aproximadamente o grau de "informação" em uma distribuição de probabilidade.
Para distribuições discretas, há uma interpretação muito mais exata: A entropia de uma variável aleatória discreta é um limite inferior ao número esperado de bits necessários para transferir o resultado da variável aleatória.
Mas para uma variável aleatória contínua, há um número incontável de resultados, portanto não podemos sequer começar a transferir qual resultado exato ocorreu em uma sequência finita de bits.
O que é uma interpretação equivalente de entropia para variáveis contínuas?
entropy
information-theory
user56834
fonte
fonte
Respostas:
Devido à limitação da densidade de pontos discretos , a interpretação de não pode ser generalizada para
Como a generalização direta leva a Claramente, explode.
Intuitivamente, desde , o raciocínio de usar menos bits para codificar algo com maior probabilidade de acontecer não se mantém . Portanto, precisamos encontrar outra maneira de interpretar , e a escolha é a divergência de .p(x)dx=0 S=−∫dxp(x)ln(p(x)dx) KL
Digamos que temos uma distribuição uniforme no mesmo espaço de estado, então temos Como é apenas uma constante, mantemos efetivamente a forma de e ao mesmo tempo, construa uma quantidade bem definida para a distribuição contínua .q(x)
Portanto, a partir da divergência , a entropia de uma distribuição contínua pode ser interpretada como:KL p(x)
Se usarmos uma distribuição uniforme para codificar , quantos bits serão desnecessários em média.p(x)
fonte
Você discretiza o problema através de uma densidade de probabilidade. Uma variável aleatória contínua tem uma densidade , que se aproxima localmente do provável , que agora é um análogo do caso discreto . E pela teoria do cálculo, suas somas tornam-se equivalentes ao seu espaço de estados.f(x) P(X∈[x,x+δx])≈f(x)δx
fonte