Entropia de distribuição com subdistribuição uniforme

Deixei $X$ser uma variável aleatória que aceita valores em um conjunto . A distribuição de não é uniforme, mas existe um subconjunto que é "uniforme": todos os eventos em ocorrem com igual probabilidade.$\mathcal{X}$$X$$A\in\mathcal{X}$$A$

Podemos relacionar a entropia de com o tamanho do conjunto ? Intuitivamente, parece que deveríamos poder dizer que a entropia de é pelo menos, mas não tenho certeza de como provar isso.$X$$A$$X$$\log |A|$

Por exemplo, quando a distribuição em é uniforme e o limite é mantido trivialmente.$A = \mathcal{X}$$X$

Simplesmente aplique a fórmula da entropia: o resultado cai imediatamente. A ideia é que apenas contribua com pelo menospara a entropia e quaisquer outros termos na fórmula de entropia só podem aumentá-la ainda mais. Detalhes a seguir.$A$

$$-|A| \left(\frac{1}{|A|}\right)\log\left(\frac{1}{|A|}\right)=\log|A|$$

---

Primeiro, vamos esclarecer a linguagem: subconjuntos de geralmente não são considerados "eventos". é uma função de um espaço de probabilidade em . As imagens inversas$\mathcal{X}$$X$$(\Omega, \mathfrak{F}, \mathbb{P})$$\mathcal X$

$$X^{-1}(a) = \{\omega\in\Omega\mid X(\omega)=a\}$$

são assumidos como subconjuntos mensuráveis ​​de e, como tal, são (no sentido convencional) eventos .$\Omega$

Por conveniência, deixe $n=|A|$ seja sua cardinalidade e deixe $p$ser a probabilidade comum de todos os eventos em questão; isso é,

$$p = \Pr(X^{-1}(a))$$

para qualquer .$a\in A$

Decomponha em e seu complemento, . O axioma da probabilidade total, juntamente com o fato de que a probabilidade de não é negativa, implica$\Omega$$X^{-1}(A)$$\bar A = \Omega\setminus X^{-1}(A)$$\bar A$

$$\eqalign{ 1 &= \Pr(\Omega) = \Pr(\bar A_X) + \Pr(X^{-1}(A))\\ &= \Pr(\bar A_X) + \sum_{a\in A} \Pr(X^{-1}(a)) \\ & = \Pr(\bar A_X) + np \ge np. }$$

Caso seja infinito, isso mostra que deve ser zero e será indefinido. Portanto, devemos assumir que é finito. Nesse caso, o cálculo anterior mostra$n$$p$$\log p$$n$

$$p \le \frac{1}{n}.$$

No cálculo da entropia de , haverá termos correspondentes a que contribuem com valores não negativos para a entropia. Restam termos de . Cada uma delas contribui com para a entropia (por definição). Porque e é uma função crescente monotonicamente ( isto é , ), o total de tem um limite inferior$X$$X^{-1}\left(\mathcal{X}\setminus A\right)$$n$$A$$-p\log p$$p \le 1/n$$\log$$\log(p) \le \log(1/n)$$-np\log p$

$$-np\log p \ge -n\frac{1}{n}\log\left(\frac{1}{n}\right) = \log n =\log|A|,$$

QED .