A distribuição máxima de entropia é consistente com determinadas distribuições marginais e a distribuição dos produtos pelas marginais?

Geralmente, existem muitas distribuições conjuntas consistentes com um conjunto conhecido de distribuições marginais .$P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n)$$f_i(x_i) = P(X_i = x_i)$

Destas distribuições conjuntas, o produto é formado pelo produto dos marginais aquele com a maior entropia?$\prod_i f_i(x_i)$

Certamente acredito que isso é verdade, mas realmente gostaria de ver uma prova.

Estou mais interessado no caso em que todas as variáveis ​​são discretas, mas também estaria interessado em comentar sobre a entropia em relação às medidas do produto no caso contínuo.

Uma maneira é usar as propriedades da divergência Kullback-Leibler .

Seja a família de distribuições com as margens especificadas e seja a distribuição do produto (e obviamente ).$\mathfrak{P}$$Q$$Q \in \mathfrak{P}$

Agora, para qualquer , a entropia cruzada é:$P \in \mathfrak{P}$

$H(P,Q) = E_P [\log q(X)] = E_P \left[ \log \prod_i q_i(X) \right] = \sum_i E_P [\log q_i(X)] = \sum_i H(P_i,Q_i)$

isto é, a soma da entropia cruzada das margens. Como as margens são todas fixas, esse termo em si deve ser corrigido.

Agora podemos escrever a divergência KL como:

$D_{KL}(P \| Q) = H(P,Q) - H(P)$

e, portanto:

$\operatorname*{arg\,min}_{P \in \mathfrak{P}} \ D_{KL}(P \| Q) = \operatorname*{arg\,max}_{P \in \mathfrak{P}} \ H(P)$

isto é, a distribuição que maximiza a entropia é a que minimiza a divergência de KL com , que pelas propriedades da divergência de KL sabemos que é o próprio$P$$Q$$Q$