A distribuição máxima de entropia é consistente com determinadas distribuições marginais e a distribuição dos produtos pelas marginais?

9

Geralmente, existem muitas distribuições conjuntas consistentes com um conjunto conhecido de distribuições marginais .P(X1=x1,X2=x2,...,Xn=xn)fi(xi)=P(Xi=xi)

Destas distribuições conjuntas, o produto é formado pelo produto dos marginais aquele com a maior entropia?ifi(xi)

Certamente acredito que isso é verdade, mas realmente gostaria de ver uma prova.

Estou mais interessado no caso em que todas as variáveis ​​são discretas, mas também estaria interessado em comentar sobre a entropia em relação às medidas do produto no caso contínuo.

wnoise
fonte

Respostas:

7

Uma maneira é usar as propriedades da divergência Kullback-Leibler .

Seja a família de distribuições com as margens especificadas e seja a distribuição do produto (e obviamente ).PQQP

Agora, para qualquer , a entropia cruzada é:PP

H(P,Q)=EP[logq(X)]=EP[logiqi(X)]=iEP[logqi(X)]=iH(Pi,Qi)

isto é, a soma da entropia cruzada das margens. Como as margens são todas fixas, esse termo em si deve ser corrigido.

Agora podemos escrever a divergência KL como:

DKL(PQ)=H(P,Q)H(P)

e, portanto:

argminPP DKL(PQ)=argmaxPP H(P)

isto é, a distribuição que maximiza a entropia é a que minimiza a divergência de KL com , que pelas propriedades da divergência de KL sabemos que é o próprioPQQ

Simon Byrne
fonte