Normalmente, a entropia de Shannon é usada para provar os resultados da codificação de canal. Mesmo para os resultados da separação do canal de origem, é usada a entropia de Shannon. Dada a equivalência entre as noções de informação de Shannon (global) e Kolmogorov (local), houve um estudo para utilizar a complexidade de Kolmogorov para esses resultados (ou pelo menos para substituir a parte de codificação de origem nos resultados de separação de canais de origem)?
12
Respostas:
Para a capacidade do canal, parece difícil substituir a entropia de Shannon pela complexidade de Kolmogorov. A definição de capacidade do canal não contém nenhuma menção à entropia. O uso da entropia de Shannon fornece a fórmula correta para a capacidade do canal (esse é o teorema de Shannon). Se você substituísse a fórmula pela entropia de Shannon por uma fórmula com complexidade de Kolmogorov, presumivelmente seria uma fórmula diferente e, portanto, seria a resposta errada .
A parte difícil do teorema da separação do canal de origem está mostrando que você não pode fazer melhor que o método óbvio (descrito no parágrafo anterior) de primeiro compactar e depois codificar. Não sei se alguém provou isso pela complexidade e capacidade do canal de Kolmogorov, mas é uma pergunta razoável a ser investigada.
fonte
Não tenho certeza do que você está falando quando usa os qualificadores locais / globais na entropia de Shannon e na complexidade de Kolmogorov.
Então me corrija se eu estiver errado.
A entropia de Shannon é computável. A complexidade de Kolmogorov não é. Portanto, eles não descrevem o mesmo problema.
Você podia ver a entropia de Shannon como um limite superior à complexidade de Kolmogrov.
fonte