Existe algum uso para a quantidade em estatística ou teoria da informação?

13

Existe algum uso para a quantidade em estatística ou teoria da informação?

f(x)2dx
charles.y.zheng
fonte
5
Renyi entropia
cardeal
f é um pdf, certo?
whuber
Sim, é uma densidade. f
charles.y.zheng
@ cardinal Answer!
@mbq: Ok, vou tentar digitar algo um pouco mais tarde que seja digno de resposta. :)
cardeal

Respostas:

24

Permitindo denotar uma função de densidade de probabilidade (com relação à Lebesgue ou medida de contagem, respectivamente), a quantidade é conhecida como entropia Renyi da ordem . É uma generalização da entropia de Shannon que retém muitas das mesmas propriedades. Para o caso , interpretamos como , e isso corresponde à entropia padrão de Shannon .f α0α=1H1(f)limα1Hα(f)H(f)

Hα(f)=-1α-1registro(fαdμ)
α0 0α=1H1(f)limα1Hα(f)H(f)

Renyi introduziu isso em seu artigo

A. Renyi, Sobre medidas de informação e entropia , Proc. 4º Berkeley Symp. em Math., Stat. e Prob. (1960), pp. 547–561.

vale a pena ler, não apenas pelas idéias, mas pelo estilo de exposição exemplar.

O caso é uma das opções mais comuns para e esse caso especial é (também) frequentemente chamado de entropia Renyi. Aqui vemos que para uma variável aleatória distribuída com densidade .α H 2 ( f ) = - log ( f 2 d μ ) = - log ( E F ( X ) ) fα=2α

H2(f)=-registro(f2dμ)=-registro(Ef(X))
f

Observe que é uma função convexa e, portanto, pela desigualdade de Jensen, temos onde o lado direito denota a entropia de Shannon. Portanto, a entropia de Renyi fornece um limite inferior para a entropia de Shannon e, em muitos casos, é mais fácil de calcular.H 2 ( f ) = - log ( E f ( X ) ) E ( - log f ( X ) ) = - E log f ( X ) = H ( f )-registro(x)

H2(f)=-registro(Ef(X))E(-registrof(X))=-Eregistrof(X)=H(f)

Outro exemplo natural em que a entropia de Renyi surge é quando se considera uma variável aleatória discreta e uma cópia independente . Em alguns cenários, queremos saber a probabilidade de que , que por um cálculo elementar seja X X = X P ( X = X ) = Σ i = 1 P ( X = X i , X = x i ) = Σ i = 1 P ( X = x i ) P ( X = x i ) = e - H 2 ( fXXX=X

P(X=X)=Eu=1P(X=xEu,X=xEu)=Eu=1P(X=xEu)P(X=xEu)=e-H2(f).

Aqui denota a densidade em relação à medida de contagem no conjunto de valores .fΩ={xEu:EuN}

A entropia (geral) de Renyi também está aparentemente relacionada à energia livre de um sistema em equilíbrio térmico, embora eu não esteja pessoalmente interessado nisso. Um artigo (muito) recente sobre o assunto é

JC Baez, entropia de Renyi e energia livre , arXiv [quant-ph] 1101.2098 (fevereiro de 2011).

cardeal
fonte
Na verdade, eu estava usando a entropia de Renyi como substituta da entropia de Shannon; é bom ver a confirmação da minha intuição. Obrigado pela resposta esclarecedora.
charles.y.zheng
1
Muitas (mas não todas!) Das propriedades e utilidades da entropia de Shannon surgem de sua convexidade. Se você observar o acúmulo dos resultados básicos na teoria da informação, eles dependem mais ou menos da desigualdade de Jensen. Portanto, em um certo sentido (vago), não há muito que seja (terrivelmente) especial sobre como a não linearidade específica que leva a uma noção de "informação". -registrox
cardinal
1
Entendo. Especificamente, eu preciso a propriedade que a entropia máxima distribuição conjunta, que satisfaz dadas marginais é o produto das marginais (o que você obteria de independência.)
charles.y.zheng