A entropia diferencial é sempre menor que o infinito?

14

Para uma variável aleatória contínua arbitrária, digamos , sua entropia diferencial é sempre menor que ? (Tudo bem se estiver - .) Se não, qual é a condição necessária e suficiente para que seja menor que ?X

syeh_106
fonte
1
Você tentou alguns exemplos? Como, distribuição uniforme em um intervalo de comprimento ? eu
Piotr Migdal
De fato, a entropia diferencial de uma distribuição uniforme (em qualquer intervalo finito) é sempre finita, ou seja, log (L), portanto, limitada. De fato, eu pude identificar 2 classes de distribuições contínuas cuja entropia é sempre limitada - (1) qualquer distribuição cujo suporte esteja contido em um intervalo finito e (2) qualquer distribuição cujo segundo momento seja finito. O primeiro é limitado pela distribuição uniforme; enquanto o último é limitado pela distribuição gaussiana.
syeh_106 9/06/2015
De fato, também posso construir uma distribuição com infinito segundo momento e ainda ter entropia finita. Por exemplo, considere f (x) = 3 / (x ^ 2), x> 3. Claramente E [X ^ 2] é infinito, mas h (X) ~ = -3,1 nats. No entanto, não consegui confirmar se isso é verdade para variáveis ​​aleatórias contínuas arbitrárias ou criar um contra-exemplo para refutá-lo. Eu realmente aprecio isso se alguém puder mostrar isso.
syeh_106 9/06/2015
1
Obrigado por seus comentários e pelos links, Piotr. Aliás, eu também verifiquei o material do meu curso e encontrei exatamente o mesmo exemplo de uma variável aleatória discreta com suporte infinito. Motivado por isso, não é difícil construir um analógico contínuo. Portanto, a resposta para a primeira pergunta é evidente. Resumirei abaixo para outras pessoas que podem ter a mesma pergunta. BTW, eu preciso fazer uma correção no meu segundo comentário acima, especificamente, pois f (x) = 3 / (x ^ 2), h (X) deve ser positivo, ou seja, 3,1 nats.
syeh_106
2
Esta pergunta e a resposta são ambíguas porque não indicam sobre quais conjuntos os limites devem ser aplicados. Se é um RV, então ele tem uma entropia, ponto final. Se é um RV contínuo "arbitrário", então (obviamente) não há limite superior possível. Quais restrições você pretende impor ao X ? Pelos comentários e sua resposta, parece que você pode querer consertar o suporte do X - ou talvez não? Talvez você queira limitar X a essas variáveis ​​com limites determinados em determinados momentos? Talvez você queira que X faça parte de uma família paramétrica - ou talvez não? Edite esta pergunta para esclarecer. XXXXX
whuber

Respostas:

11

Pensei um pouco mais nessa questão e consegui encontrar um contra-exemplo, graças também aos comentários do Piotr acima. A resposta para a primeira pergunta é não - a entropia diferencial de uma variável aleatória contínua (VD) nem sempre é menor que . Por exemplo, considere um RV X contínuo, cujo pdf é f ( x ) = log ( 2 ) parax>2.

f(x)=log(2)xlog(x)2
x>2

Não é difícil verificar se sua entropia diferencial é infinita. Porém, cresce muito lentamente (aprox. Logaritmicamente).

Para a segunda pergunta, não conheço uma condição simples, necessária e suficiente. No entanto, uma resposta parcial é a seguinte. Categorize um RV contínuo em um dos três tipos a seguir, com base em seu suporte, ou seja,

Tipo 1: um RV contínuo cujo suporte é limitado, ou seja, contido em [a, b].
Tipo 2: um RV contínuo cujo suporte é semi-limitado, ou seja, contido em [a, ) ou ( - , a] Tipo 3: um RV contínuo cujo suporte é ilimitado.

Então temos o seguinte -


μ
σ2

log(ba)1+log(|μa|)12log(2πeσ2)

f(x)=3x2
x>3
f(x)=9|x|3
|x|>3
syeh_106
fonte
1
xαα>0
Obrigado, Piotr, pelos conselhos sobre as políticas de SE. (Sim, eu sou obviamente novo aqui.) Sobre momentos finitos que levam à entropia limitada, você compartilharia sua prova? Obrigado!
syeh_106 10/06/2015
@PiotrMigdal Pretendo deixar a resposta a esta pergunta em seu estado atual após adicionar um toque final. Motivado pelo comentário de Piotr acima, considerei se a média finita levou à entropia finita. Eu não poderia concluir isso em geral. O que eu descobri é que era verdade se o suporte do RV é meio limitado. Por favor, veja a resposta revisada acima. Estou ansioso por uma resposta melhor de alguém algum dia.
syeh_106 13/06/2015
"Não é difícil verificar se sua entropia diferencial é infinita". Você pode mostrar como verificar isso? Parece verdade para a integral de Riemann, mas a entropia diferencial é com relação à medida de Lebesgue. Estou tendo problemas para verificar se a integral de Lebesgue correspondente não converge.
Cantorhead4
1
XE[X]H(X)=log(4π)
Cantorhead5