Quem cunhou o termo "entropia empírica"?

9

Conheço o trabalho de Shannon com entropia, mas ultimamente tenho trabalhado em estruturas de dados sucintas nas quais a entropia empírica é frequentemente usada como parte da análise de armazenamento.

Shannon definido a entropia da informação produzida por uma fonte de informação discreta como -Eu=1 1kpEuregistropEu , onde é a probabilidade do evento ocorrendo, por exemplo, um caracter específico gerado, e existem k possíveis eventos. i kpEuEuk

Como apontado por MCH nos comentários, a entropia empírica é a entropia da distribuição empírica desses eventos e, portanto, é dada por -Eu=1 1knEunregistronEun onde nEu é o número de ocorrências observadas de evento Eu e n é o número total de eventos observados. Isso é chamado entropia empírica de ordem zero de ordem zero . A noção de Shannon de entropia condicional tem uma versão empírica similar de ordem superior .

Shannon não usou o termo entropia empírica, embora ele certamente mereça parte do crédito por esse conceito. Quem usou essa idéia pela primeira vez e quem primeiro usou o nome (muito lógico) da entropia empírica para descrevê-la?

usuário excluído 42
fonte
"definido por ponto para cada corda" soa como a complexidade de Kolmogorov: é a isso que você está se referindo? Caso contrário, você pode apontar para um link que o define ou, melhor ainda, fornecer uma definição na própria pergunta?
Suresh Venkat
11
É assim chamado porque entropia empírica é a entropia da distribuição empírica de uma sequência.
Mahdi Cheraghchi
@SureshVenkat Tentei elaborar a pergunta.
usuário excluído 42
11
Veja também Kosaraju S. Rao, Manzini G., "Compactação de cadeias de baixa entropia com algoritmos de Lempel-Ziv" (1998). Eles analisam o desempenho dos algoritmos de Lempel-Ziv usando a " chamada entropia empírica ".
Marzio De Biasi
2
Observe que a "distribuição empírica" ​​é realmente a distribuição ML para um determinado conjunto de contagens de frequência. Então, eu me pergunto se isso remonta a Bayes. Até Laplace ponderou o problema de definir uma distribuição a partir de contagens empíricas.
Suresh Venkat

Respostas:

3

Estou interessado em "entropia empírica" ​​como você e o primeiro artigo que encontrei foi o de Kosaraju, como o usuário "Marzio De Biasi" contou em seu comentário.

Mas, na minha opinião, as definições reais de "entropia empírica" ​​são feitas mais tarde, generalizando os conceitos anteriores:

  1. "Alfabetos Grandes e Incompressibilidade", de Travis Gagie (2008)
  2. "Entropia empregical" de Paul MB Vitányi (2011)

Gagie reformulou a definição de entropia empírica de ordem de para: k

  • Hk(W)=1 1|W|minQ{registro1 1P(Q=W)}

onde é um processo de Markov de ordem . Ele também mostrou que essa definição é equivalente à anterior. O próximo passo de Vitányi foi uma generalização para classes arbitrárias de processos (não apenas processos de Markov):kQk

  • H(W|X)=minX{K(X)+H(X):|H(X)-registro1 1P(X=W)|EusmEunEumumaeu!}

onde é a classe de processos permitidos e é a complexidade de Kolmogorov. Se escolhermos como a classe de ordem Markov processa produzindo uma sequência devariáveis ​​aleatórias e ignorando a complexidade de Kolmogorov, isso também leva à definição de Gagie (multiplicada por ).XK(X)
Xk|W||W|

Danny
fonte