Existe algum uso para a quantidade em estatística ou teoria da informação?

Existe algum uso para a quantidade em estatística ou teoria da informação?

$$\int f(x)^2 dx$$

Permitindo denotar uma função de densidade de probabilidade (com relação à Lebesgue ou medida de contagem, respectivamente), a quantidade é conhecida como entropia Renyi da ordem . É uma generalização da entropia de Shannon que retém muitas das mesmas propriedades. Para o caso , interpretamos como , e isso corresponde à entropia padrão de Shannon .$f$$\newcommand{\rd}{\mathrm{d}}$ α≥0α=1H1(f)limα→1Hα(f)H(f

$$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$$ $\alpha \geq 0$$\alpha = 1$$H_1(f)$$\lim_{\alpha \to 1} H_{\alpha}(f)$$H(f)$

Renyi introduziu isso em seu artigo

A. Renyi, Sobre medidas de informação e entropia , Proc. 4º Berkeley Symp. em Math., Stat. e Prob. (1960), pp. 547–561.

vale a pena ler, não apenas pelas idéias, mas pelo estilo de exposição exemplar.

O caso é uma das opções mais comuns para e esse caso especial é (também) frequentemente chamado de entropia Renyi. Aqui vemos que para uma variável aleatória distribuída com densidade .α H 2 ( f ) = - log ( ∫ f 2 d μ ) = - log ( E F ( X ) )$\alpha = 2$$\alpha$

$$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$$ $f$

Observe que é uma função convexa e, portanto, pela desigualdade de Jensen, temos onde o lado direito denota a entropia de Shannon. Portanto, a entropia de Renyi fornece um limite inferior para a entropia de Shannon e, em muitos casos, é mais fácil de calcular.H 2 ( f ) = - log ( E f ( X ) ) ≤ E ( - log f ( X ) ) = - E log f ( X ) = H ( f $- \log(x)$

$$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$$

Outro exemplo natural em que a entropia de Renyi surge é quando se considera uma variável aleatória discreta e uma cópia independente . Em alguns cenários, queremos saber a probabilidade de que , que por um cálculo elementar seja X ⋆ X = X ⋆ P ( X = X ⋆ ) = ∞ Σ i = 1 P ( X = X i , X ⋆ = x i ) = ∞ Σ i = 1 P ( X = x i ) P ( X ⋆ = x i ) = e - H 2 ( $X$$X^\star$$X = X^\star$

$$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$$

Aqui denota a densidade em relação à medida de contagem no conjunto de valores .$f$$\Omega = \{x_i: i \in \mathbb{N}\}$

A entropia (geral) de Renyi também está aparentemente relacionada à energia livre de um sistema em equilíbrio térmico, embora eu não esteja pessoalmente interessado nisso. Um artigo (muito) recente sobre o assunto é

JC Baez, entropia de Renyi e energia livre , arXiv [quant-ph] 1101.2098 (fevereiro de 2011).