Teorema do limite central da teoria da informação

A forma mais simples da CLT teórica da informação é a seguinte:

Seja como iid com média e variação . Seja a densidade da soma normalizada e seja a densidade gaussiana padrão. Então o CLT teórico da informação afirma que, se é finito para alguns n , então D (f_n \ | \ phi) \ para 0 como n \ to \ infty .$X_1, X_2,\dots$$0$$1$$f_n$$\frac{\sum_{i=1}^n X_i}{\sqrt{n}}$$\phi$$D(f_n\|\phi)=\int f_n \log(f_n/\phi) dx$$n$$D(f_n\|\phi)\to 0$$n\to \infty$

Certamente, essa convergência, em certo sentido, é "mais forte" do que as convergências bem estabelecidas na literatura, convergência em distribuição e convergência em $L_1$ -métrica, graças à desigualdade de Pinsker $\left(\int |f_n-\phi|\right)^2\le 2\cdot \int f_n \log(f_n/\phi)$ . Ou seja, convergência na divergência KL implica convergência na distribuição e convergência na distância $L_1$ .

Eu gostaria de saber duas coisas.

1. O que há de tão bom no resultado $D(f_n\|\phi)\to 0$ ?

2. É apenas por causa do motivo declarado no terceiro parágrafo que dizemos que a convergência na divergência KL ( ou seja , $D(f_n\|\phi)\to 0$ ) é mais forte?

NB: Eu fiz essa pergunta há algum tempo em math.stackexchange, onde não obtive resposta.

Uma coisa que é ótima com esse teorema é que ele sugere teoremas de limite em algumas situações em que o teorema do limite central usual não se aplica. Por exemplo, em situações em que a distribuição máxima de entropia é alguma distribuição não normal, como para distribuições no círculo, sugere convergência para uma distribuição uniforme.

Depois de olhar em volta, não consegui encontrar nenhum exemplo de convergência na distribuição sem convergência na entropia relativa; portanto, é difícil medir a "grandeza" desse resultado.

Para mim, parece que esse resultado simplesmente descreve a entropia relativa dos produtos de convolução. Ele é frequentemente visto como uma estrutura alternativa de interpretação e prova do Teorema do Limite Central, e não tenho certeza de que tenha uma implicação direta na teoria da probabilidade (mesmo que na teoria da informação).

De Teoria da informação e Teorema do limite central (página 19).

A Segunda Lei da Termodinâmica afirma que a entropia termodinâmica sempre aumenta com o tempo, implicando algum tipo de convergência para o estado de Gibbs. Conservação de energia significa que permanece constante durante a evolução do tempo, para que possamos dizer desde o início qual o estado de Gibbs que será o limite. Consideraremos o Teorema do Limite Central da mesma maneira, mostrando que a entropia teórica da informação aumenta ao máximo enquanto tomamos convoluções, implicando convergência para o gaussiano. Normalizar apropriadamente significa que a variação permanece constante durante as convoluções, para que possamos dizer desde o início qual gaussiano será o limite.$E$

$D(f_n\|\phi)\rightarrow 0$ garante que não haja "distância" entre a distribuição da soma das variáveis ​​aleatórias e a densidade gaussiana como apenas por causa da definição de divergência de KL, por isso é a prova em si. Talvez eu tenha entendido mal sua pergunta.$n\rightarrow\infty$

Sobre o segundo ponto que você indicou, ele respondeu em seu parágrafo.