O que é entropia empírica?

Na definição de conjuntos comuns em conjunto (em "Elementos da teoria da informação", cap. 7.6, p. 195), usamos

- \frac{1}{n} \log p (x^{n})

$-\frac{1}{n} \log{p(x^n)}$ como a entropia empírica de uma sequência com . Eu nunca me deparei com essa terminologia antes. Não é definido explicitamente em nenhum lugar, de acordo com o índice do livro.

n

$n$

p (x^{n}) = \prod_{i = 1}^{n} p (x_{i})

$p(x^n) = \prod_{i=1}^{n}{p(x_i)}$

Minha pergunta é basicamente: Por que a entropia empírica não é onde é a distribuição empírica? $-\sum_{x}{\hat p (x) \log(\hat p(x))}$ $\hat p(x)$

Quais são as diferenças e semelhanças mais interessantes entre essas duas fórmulas? (em termos de propriedades que eles compartilham / não compartilham).

information-theory entropy blubb
fonte

As duas expressões não são algebricamente iguais?

whuber

@ whuber: Não, são quantidades diferentes, com propósitos diferentes, acredito. Observe que o primeiro usa a medida verdadeira assumida conhecida a priori. O segundo não.

p

$p$

cardeal

O primeiro diz respeito ao acúmulo de entropia ao longo do tempo e como ele se compara à verdadeira entropia do sistema. O SLLN e o CLT dizem muito sobre como ele se comporta. O segundo diz respeito à estimativa da entropia a partir dos dados e algumas de suas propriedades também podem ser obtidas através das mesmas duas ferramentas mencionadas. Mas, enquanto o primeiro é imparcial, o segundo não tem . Posso preencher alguns detalhes, se for útil.

p

$p$

cardeal

@cardinal: Se você fornecer o comentário acima como uma resposta (talvez também explicar o que SLLN e CLT são - eu não sei isso?) Eu ficaria feliz em upvote ...

blubb

Ok, vou tentar postar mais tarde. Enquanto isso, SLLN = "Lei forte de grandes números" e CLT = "Teorema do limite central". Essas são abreviações bastante comuns que você provavelmente encontrará novamente. Felicidades. :)

cardeal

Respostas:

Se os dados forem , ou seja, um -sequence a partir de um espaço de amostragem , as probabilidades de ponto empíricos são $x^n = x_1 \ldots x_n$ $n$ $\mathcal{X}$ para. Aquié um see zero em caso contrário. Isto representa a frequência relativa dena sequência observada. Aentropiada distribuição de probabilidade dada pelas probabilidades de ponto empíricos é

\hat{p} (x) = \frac{1}{n} | {Eu ∣ x_{Eu} = x} | = \frac{1}{n} \sum_{Eu = 1}^{n} δ_{x} (x_{Eu})

$\hat{p}(x) = \frac{1}{n}|\{ i \mid x_i = x\}| = \frac{1}{n} \sum_{i=1}^n \delta_x(x_i)$

x \in X

$x \in \mathcal{X}$

δ_{x} (x_{i})

$\delta_x(x_i)$

x_{i} = x

$x_i = x$

\hat{p} (x)

$\hat{p}(x)$

x

$x$

O último identidade seguinte modo trocando os dois montantes e notando que

Deste vemos que

H (\hat{p}) = - \sum_{x \in X} \hat{p} (x) registro \hat{p} (x) = - \sum_{x \in X} \frac{1}{n} \sum_{Eu = 1}^{n} δ_{x} (x_{Eu}) registro \hat{p} (x) = - \frac{1}{n} \sum_{Eu = 1}^{n} registro \hat{p} (x_{Eu}) .

$H(\hat{p}) = - \sum_{x \in \mathcal{X}} \hat{p}(x) \log \hat{p}(x) = - \sum_{x \in \mathcal{X}} \frac{1}{n} \sum_{i=1}^n \delta_x(x_i) \log \hat{p}(x) = -\frac{1}{n} \sum_{i=1}^n \log\hat{p}(x_i).$

\sum_{x \in X} δ_{x} (x_{Eu}) registro \hat{p} (x) = registro \hat{p} (x_{Eu}) .

$\sum_{x \in \mathcal{X}} \delta_x(x_i) \log\hat{p}(x) = \log\hat{p}(x_i).$

com

e usando a terminologia do questão esta é a entropia empírica dadistribuição de probabilidade empírica. Como apontado por @cardinal em um comentário,

H (\hat{p}) = - \frac{1}{n} registro \hat{p} (x^{n})

$H(\hat{p}) = - \frac{1}{n} \log \hat{p}(x^n)$

\hat{p} (x^{n}) = \prod_{i = 1}^{n} \hat{p} (x_{i})

$\hat{p}(x^n) = \prod_{i=1}^n \hat{p}(x_i)$

é a entropia empírica de uma dada distribuição de probabilidade com probabilidades pontuais

- \frac{1}{n} \log p (x^{n})

$- \frac{1}{n} \log p(x^n)$

p

$p$

NRH
fonte

(+1) Isso fornece uma boa ilustração do que Cover e Thomas chamam de "estranho caráter auto-referencial" da entropia. No entanto, não tenho certeza se a resposta realmente aborda (diretamente) as preocupações aparentes do OP. :)

cardeal

@ cardinal, eu sei, e a resposta foi apenas um longo comentário para fazer esse ponto específico. Eu não queria repetir seus pontos.

NRH

Você não deve se sentir mal ou hesitar em postar sua própria resposta, incluindo a expansão nos meus comentários ou nos de outras pessoas. Sou particularmente lento e péssimo em postar respostas e nunca vou me ofender se você ou outras pessoas postarem respostas que incorporam aspectos de coisas que eu possa ter comentado brevemente brevemente. Muito pelo contrário, de fato. Felicidades.

cardeal

A entropia é definida para distribuições de probabilidade. Quando você não possui um, mas apenas dados, e conecta um estimador ingênuo da distribuição de probabilidade, obtém entropia empírica. Isso é mais fácil para distribuições discretas (multinomiais), como mostrado em outra resposta, mas também pode ser feito para outras distribuições por binning, etc.

Um problema com a entropia empírica é que ela é enviesada para amostras pequenas. A estimativa ingênua da distribuição de probabilidade mostra variação extra devido ao ruído de amostragem. Obviamente, pode-se usar um estimador melhor, por exemplo, um prévio adequado para os parâmetros multinomiais, mas não é fácil obtê-lo realmente imparcial.

O acima descrito também se aplica a distribuições condicionais. Além disso, tudo é relativo ao binning (ou kernelization), então você realmente tem um tipo de entropia diferencial.

Scellus
fonte

Devemos ter cuidado com o que estamos chamando de entropia empírica aqui. Observe que o estimador de plug-in é sempre tendencioso baixo para todos os tamanhos de amostra, embora o viés diminua à medida que o tamanho da amostra aumenta. Não é apenas difícil obter estimadores imparciais para a entropia, mas é impossível no caso geral. Houve pesquisas bastante intensas nessa área nos últimos anos, principalmente na literatura de neurociência. Muitos resultados negativos existem, de fato.

cardeal