Prove que a distribuição máxima de entropia com uma matriz de covariância fixa é uma gaussiana

13

Estou tentando entender a seguinte prova de que o gaussiano tem entropia máxima.

Como o passo estrelado faz sentido? Uma covariância específica apenas fixa o segundo momento. O que acontece com o terceiro, quarto, quinto momento, etc?

insira a descrição da imagem aqui

Tarrare
fonte

Respostas:

13

pqlog(p)x02


Você precisa saber apenas duas coisas sobre uma distribuição normal multivariada com média zero:

  1. log(p)x=(x1,x2,,xn) Cpij

    log(p(x))=C+i,j=1npijxixj.

    CpijΣ

  2. Σ

    Σij=Ep(xixj)=p(x)xixjdx.

Podemos usar essas informações para elaborar uma integral:

(q(x)p(x))log(p(x))dx=(q(x)p(x))(C+i,j=1npijxixj)dx.

Ele divide a soma de duas partes:

  • (q(x)p(x))Cdx=C(q(x)dxp(x)dx)=C(11)=0qp

  • (q(x)p(x))i,j=1npijxixjdx=i,j=1npij(q(x)p(x))xixjdx=0q(x)xixjdxp(x)xixjdxΣij

(q(x)p(x))log(p(x))dx=0q(x)log(p(x))dx=p(x)log(p(x))dx.

whuber
fonte
1

q(x)p(x) multiplicando termos do formulário σEujxEuxj (Porque p(x)é uma densidade normal, quando você pega o log, obtém exatamente esse tipo de termos do expoente mais constantes). Mas então a condição no teorema garante que esses termos sejam multiplicados porp(x) do q(x) integrar com o mesmo valor.

F. Tusell
fonte