Questões relacionadas à entropia

7

Há muito que enfrento a confusão em relação à entropia e seria obrigado se o seguinte fosse respondido em um jargão menos técnico. Seguindo o link Diferentes tipos de entropia levantam as seguintes questões

  1. Entropia - É desejável que a entropia do sistema seja maximizada. Maximizar a entropia significa que nenhum símbolo é melhor que os outros ou não sabemos qual seria o próximo símbolo / resultado. No entanto, a fórmula declara um sinal negativo antes do somatório dos logaritmos de probabilidade. Assim, significa que estamos maximizando um valor negativo !! Então, se um sinal bruto original é quantizado e a entropia da informação quantizada é calculada e considerada menor que a entropia original implicaria perda de informação. Então, por que queremos maximizar a entropia, pois isso significa que estamos maximizando a incerteza do próximo símbolo, enquanto queremos ter certeza sobre o que seria a próxima ocorrência do símbolo.
  2. Quais são as diferenças entre entropia de Shannon, entropia topológica e entropia de origem?
  3. Qual é exatamente o significado da complexidade de Kolgomorov ou da entropia de Kolgomorov. Como isso está relacionado à entropia de Shannon?
  4. Quais informações as informações mútuas entre dois vetores transmitem?
user1214586
fonte
Eu recomendaria fortemente este livro (online grátis) . O capítulo 2 apresenta a entropia no contexto correto. O livro inteiro é excelente e acompanha uma série de palestras do autor (David Mackay)
Henry Gomersall
11
Observarei apenas que a entropia é um daqueles tópicos em que é muito difícil (mas não impossível) obter uma compreensão "intuitiva" dela. Você está lutando por alguns conceitos difíceis.
Daniel R Hicks

Respostas:

7

Vou tentar abordar as questões 1 e 4.

1) Entropia - É desejável que a entropia do sistema seja maximizada. Maximizar a entropia significa que nenhum símbolo é melhor que os outros ou não sabemos qual seria o próximo símbolo / resultado. No entanto, a fórmula declara um sinal negativo antes do somatório dos logaritmos de probabilidade. Assim, significa que estamos maximizando um valor negativo !!

Não, os valores dos próprios logaritmos são negativos, portanto o sinal negativo os torna positivos. Todas as probabilidades são um número real de 0 a 1, inclusive. O log de 1 é zero e o log de algo menor que 1 é negativo. Isso pode parecer problemático, já que o log de 0 é , mas estamos realmente tentando maximizar o valor esperado desses logs, portanto, quando multiplicamos pela probabilidade em si, o valor inteiro se aproxima de 0, não de . A entropia atinge o pico quando a probabilidade é .1/2

Então, por que queremos maximizar a entropia, pois isso significa que estamos maximizando a incerteza do próximo símbolo, enquanto queremos ter certeza sobre o que seria a próxima ocorrência do símbolo.

Não, na comunicação de informações, NÃO queremos absolutamente ter certeza sobre qual será o próximo símbolo. Se temos certeza, que informações são obtidas ao recebê-las? Nenhum. É somente pela incerteza sobre o que o transmissor enviará que podemos receber qualquer informação.

4) Quais informações as informações mútuas entre dois vetores transmitem?

Quando há informações mútuas entre dois vetores, saber algo sobre um diz algo sobre o outro. Matematicamente, isso equivale ao seguinte conhecimento de um vetor afeta as probabilidades do outro vetor. Se eles fossem independentes, este não seria o caso.

Um exemplo de informação mútua são os walkie-talkies digitais. Um vetor é o fluxo de bits que o primeiro walkie-talkie envia. O segundo vetor é o sinal que o segundo walkie-talkie recebe. Os dois estão obviamente relacionados, mas devido ao ruído e às condições desconhecidas do canal, o segundo walkie-talkie não pode ter certeza do que o primeiro enviou. Pode fazer algumas suposições realmente boas com base no sinal, mas não pode ter certeza.

Jim Clay
fonte
Obrigado pelas maravilhosas idéias e exemplos. no entanto, as respostas para o restante das perguntas não são tentadas. Você sugere que eu coloque essas perguntas separadamente?
user1214586
@ user1214586 Você pode tentar novamente com os outros dois. Você está cobrindo muito território com essas perguntas, por isso é muito trabalho fazer um trabalho decente respondendo a todas elas. Pior ainda, é difícil encontrar uma pessoa que saiba a resposta para todas as perguntas. Você tem uma chance melhor, pelos dois motivos, se mantiver a pergunta mais focada.
22612 Jim Clay