A entropia diferencial é sempre menor que o infinito?

Para uma variável aleatória contínua arbitrária, digamos , sua entropia diferencial é sempre menor que ? (Tudo bem se estiver .) Se não, qual é a condição necessária e suficiente para que seja menor que ? $X$ $\infty$ $-\infty$ $\infty$

entropy information-theory maximum-entropy syeh_106
fonte

Você tentou alguns exemplos? Como, distribuição uniforme em um intervalo de comprimento

L

$L$

Piotr Migdal

De fato, a entropia diferencial de uma distribuição uniforme (em qualquer intervalo finito) é sempre finita, ou seja, log (L), portanto, limitada. De fato, eu pude identificar 2 classes de distribuições contínuas cuja entropia é sempre limitada - (1) qualquer distribuição cujo suporte esteja contido em um intervalo finito e (2) qualquer distribuição cujo segundo momento seja finito. O primeiro é limitado pela distribuição uniforme; enquanto o último é limitado pela distribuição gaussiana.

syeh_106 9/06/2015

De fato, também posso construir uma distribuição com infinito segundo momento e ainda ter entropia finita. Por exemplo, considere f (x) = 3 / (x ^ 2), x> 3. Claramente E [X ^ 2] é infinito, mas h (X) ~ = -3,1 nats. No entanto, não consegui confirmar se isso é verdade para variáveis aleatórias contínuas arbitrárias ou criar um contra-exemplo para refutá-lo. Eu realmente aprecio isso se alguém puder mostrar isso.

syeh_106 9/06/2015

Obrigado por seus comentários e pelos links, Piotr. Aliás, eu também verifiquei o material do meu curso e encontrei exatamente o mesmo exemplo de uma variável aleatória discreta com suporte infinito. Motivado por isso, não é difícil construir um analógico contínuo. Portanto, a resposta para a primeira pergunta é evidente. Resumirei abaixo para outras pessoas que podem ter a mesma pergunta. BTW, eu preciso fazer uma correção no meu segundo comentário acima, especificamente, pois f (x) = 3 / (x ^ 2), h (X) deve ser positivo, ou seja, 3,1 nats.

syeh_106

Esta pergunta e a resposta são ambíguas porque não indicam sobre quais conjuntos os limites devem ser aplicados. Se

é um RV, então ele tem uma entropia, ponto final. Se é um RV contínuo "arbitrário", então (obviamente) não há limite superior possível. Quais restrições você pretende impor ao

? Pelos comentários e sua resposta, parece que você pode querer consertar o suporte do

- ou talvez não? Talvez você queira limitar

a essas variáveis com limites determinados em determinados momentos? Talvez você queira que

de uma família paramétrica - ou talvez não? Edite esta pergunta para esclarecer.

X

$X$

X

$X$

X

$X$

X

$X$

X

$X$

whuber

Respostas:

Pensei um pouco mais nessa questão e consegui encontrar um contra-exemplo, graças também aos comentários do Piotr acima. A resposta para a primeira pergunta é não - a entropia diferencial de uma variável aleatória contínua (VD) nem sempre é menor que . Por exemplo, considere um RV X contínuo, cujo pdf é $\infty$ para.

f (x) = \frac{\log (2)}{x \log (x)^{2}}

$f(x) = \frac{\log(2)}{x \log(x)^2}$

x > 2

$x > 2$

Não é difícil verificar se sua entropia diferencial é infinita. Porém, cresce muito lentamente (aprox. Logaritmicamente).

Para a segunda pergunta, não conheço uma condição simples, necessária e suficiente. No entanto, uma resposta parcial é a seguinte. Categorize um RV contínuo em um dos três tipos a seguir, com base em seu suporte, ou seja,

Tipo 1: um RV contínuo cujo suporte é limitado, ou seja, contido em [a, b].
Tipo 2: um RV contínuo cujo suporte é semi-limitado, ou seja, contido em [a, ) ou ( , a] Tipo 3: um RV contínuo cujo suporte é ilimitado. $\infty$ $-\infty$

Então temos o seguinte -

$\infty$
$\infty$ $\mu$
$\infty$ $\sigma^2$

$log(b-a)$ $1+log(|\mu-a|)$ $\frac{1}{2} log(2{\pi}e\sigma^2)$

f (x) = \frac{3}{x^{2}}

$f(x) = \frac{3}{x^2}$

x > 3

$x > 3$

f (x) = \frac{9}{| x |^{3}}

$f(x) = \frac{9}{|x|^3}$

| x | > 3

$|x| > 3$

syeh_106
fonte

⟨ x^{α} ⟩

$\langle x^\alpha \rangle$

α > 0

$\alpha>0$

Obrigado, Piotr, pelos conselhos sobre as políticas de SE. (Sim, eu sou obviamente novo aqui.) Sobre momentos finitos que levam à entropia limitada, você compartilharia sua prova? Obrigado!

syeh_106 10/06/2015

@PiotrMigdal Pretendo deixar a resposta a esta pergunta em seu estado atual após adicionar um toque final. Motivado pelo comentário de Piotr acima, considerei se a média finita levou à entropia finita. Eu não poderia concluir isso em geral. O que eu descobri é que era verdade se o suporte do RV é meio limitado. Por favor, veja a resposta revisada acima. Estou ansioso por uma resposta melhor de alguém algum dia.

syeh_106 13/06/2015

"Não é difícil verificar se sua entropia diferencial é infinita". Você pode mostrar como verificar isso? Parece verdade para a integral de Riemann, mas a entropia diferencial é com relação à medida de Lebesgue. Estou tendo problemas para verificar se a integral de Lebesgue correspondente não converge.

Cantorhead4

X

$X$

E [X]

$\mathrm{E}[X]$

H (X) = \log (4 π)

$H(X)=\log(4\pi)$

Cantorhead5