Quem cunhou o termo "entropia empírica"?

Conheço o trabalho de Shannon com entropia, mas ultimamente tenho trabalhado em estruturas de dados sucintas nas quais a entropia empírica é frequentemente usada como parte da análise de armazenamento.

Shannon definido a entropia da informação produzida por uma fonte de informação discreta como $-\sum_{i=1}^k p_i \log{p_i}$ , onde é a probabilidade do evento ocorrendo, por exemplo, um caracter específico gerado, e existem k possíveis eventos. i $p_i$$i$$k$

Como apontado por MCH nos comentários, a entropia empírica é a entropia da distribuição empírica desses eventos e, portanto, é dada por $-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$ onde $n_{i}$ é o número de ocorrências observadas de evento $i$ e $n$ é o número total de eventos observados. Isso é chamado entropia empírica de ordem zero de ordem zero . A noção de Shannon de entropia condicional tem uma versão empírica similar de ordem superior .

Shannon não usou o termo entropia empírica, embora ele certamente mereça parte do crédito por esse conceito. Quem usou essa idéia pela primeira vez e quem primeiro usou o nome (muito lógico) da entropia empírica para descrevê-la?

Estou interessado em "entropia empírica" ​​como você e o primeiro artigo que encontrei foi o de Kosaraju, como o usuário "Marzio De Biasi" contou em seu comentário.

Mas, na minha opinião, as definições reais de "entropia empírica" ​​são feitas mais tarde, generalizando os conceitos anteriores:

1. "Alfabetos Grandes e Incompressibilidade", de Travis Gagie (2008)
2. "Entropia empregical" de Paul MB Vitányi (2011)

Gagie reformulou a definição de entropia empírica de ordem de para: $k$

• $H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

onde é um processo de Markov de ordem . Ele também mostrou que essa definição é equivalente à anterior. O próximo passo de Vitányi foi uma generalização para classes arbitrárias de processos (não apenas processos de Markov):$Q$$k$

• $H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

onde é a classe de processos permitidos e é a complexidade de Kolmogorov. Se escolhermos como a classe de ordem Markov processa produzindo uma sequência devariáveis ​​aleatórias e ignorando a complexidade de Kolmogorov, isso também leva à definição de Gagie (multiplicada por ).$\mathcal{X}$$K(X)$
$\mathcal{X}$$k$$|w|$$|w|$