Entropia Diferencial

13

A entropia diferencial do VR gaussiano é log2(σ2πe). Isso depende deσ, que é o desvio padrão.

Se normalizarmos a variável aleatória para que ela tenha variação unitária, sua entropia diferencial cai. Para mim, isso é contra-intuitivo, porque a complexidade Kolmogorov da constante de normalização deve ser muito pequena se comparada à redução da entropia. Pode-se simplesmente criar um decodificador de codificador que divida / multiplique com a constante de normalização para recuperar qualquer conjunto de dados gerado por essa variável aleatória.

Provavelmente meu entendimento está errado. Você poderia apontar minha falha?

Cagdas Ozgenc
fonte

Respostas:

17

Vou tentar, apesar de estar um pouco acima da minha cabeça, então trate com uma pitada de sal ...

Você não está exatamente errado. Eu acho que onde o seu experimento mental cai é que a entropia diferencial não é o caso limitador da entropia. Suponho que, por causa disso, os paralelos entre ele e a complexidade de Kolmogorov sejam perdidos.

Vamos dizer que temos uma variável aleatória discreta . Podemos calcular sua entropia de Shannon da seguinte forma, somando todos os seus possíveis valores x i , H ( X ) = -Xxi

H(X)=iP(X=xi)log(P(X=xi)).

Até agora tão chato. Agora, digamos que é uma versão quantizada de uma variável aleatória contínua - digamos, temos a função de densidade p ( ) que gera amostras a partir do conjunto de números reais e transformamos isso em um histograma. Teremos um histograma fino o suficiente para que a função de densidade seja essencialmente linear. Nesse caso, teremos uma entropia assim: H ( X ) - i p ( X = x i ) δ x log ( p ( X = x i ) δ xXp() ondeδxé a largura das caixas do histograma exi

H(X)ip(X=xi)δxlog(p(X=xi)δx),
δxxi é o ponto médio de cada um. Temos um produto dentro desse logaritmo - vamos separá-lo e usar a propriedade das distribuições de probabilidade somadas a 1 para movê-lo para fora do somatório, dando-nos
H(X)log(δx)ip(X=xi)δxlog(p(X=xi)).

δxdx

H(X)=log(dx)xp(X=x)log(p(X=x))dx.

log(dx)

σ

Felizmente, não estamos totalmente perdidos. As divergências de Kullback-Leibler e, por extensão, as informações mútuas, são razoavelmente bem comportadas, pois todas asδ

xp(X=x)log(p(X=x)q(X=x))dx
q(X)Xp(X)q(X)
Pat
fonte
Obrigado. Isso é muito interessante. Eu não sabia que havia um artifício na teoria.
Cagdas Ozgenc 18/02
1
log(dx)p(x)ip(xi)δxlogp(xi)h(X)δx0nh(X)+n
1
log(dx)
@Agdas - eu não sei se eu chamaria de um artifício. É apenas medir uma coisa diferente. E, como aponta o cardeal, tem alguns usos. Quanto à quebra, quando aplicada à distribuição binominal, depende de como você a aplicará :). Provavelmente vale a pena começar um novo tópico, se você não tiver certeza.
Pat
Eu pensei que a entropia é obviamente diferente da complexidade de Kolmogorov quando se considera geradores de números pseudo-aleatórios.
James Bowery