Há muito que enfrento a confusão em relação à entropia e seria obrigado se o seguinte fosse respondido em um jargão menos técnico. Seguindo o link Diferentes tipos de entropia levantam as seguintes questões
- Entropia - É desejável que a entropia do sistema seja maximizada. Maximizar a entropia significa que nenhum símbolo é melhor que os outros ou não sabemos qual seria o próximo símbolo / resultado. No entanto, a fórmula declara um sinal negativo antes do somatório dos logaritmos de probabilidade. Assim, significa que estamos maximizando um valor negativo !! Então, se um sinal bruto original é quantizado e a entropia da informação quantizada é calculada e considerada menor que a entropia original implicaria perda de informação. Então, por que queremos maximizar a entropia, pois isso significa que estamos maximizando a incerteza do próximo símbolo, enquanto queremos ter certeza sobre o que seria a próxima ocorrência do símbolo.
- Quais são as diferenças entre entropia de Shannon, entropia topológica e entropia de origem?
- Qual é exatamente o significado da complexidade de Kolgomorov ou da entropia de Kolgomorov. Como isso está relacionado à entropia de Shannon?
- Quais informações as informações mútuas entre dois vetores transmitem?
reference-request
information-theory
user1214586
fonte
fonte
Respostas:
Vou tentar abordar as questões 1 e 4.
Não, os valores dos próprios logaritmos são negativos, portanto o sinal negativo os torna positivos. Todas as probabilidades são um número real de 0 a 1, inclusive. O log de 1 é zero e o log de algo menor que 1 é negativo. Isso pode parecer problemático, já que o log de 0 é , mas estamos realmente tentando maximizar o valor esperado desses logs, portanto, quando multiplicamos pela probabilidade em si, o valor inteiro se aproxima de 0, não de . A entropia atinge o pico quando a probabilidade é .−∞ ∞ 1/2
Não, na comunicação de informações, NÃO queremos absolutamente ter certeza sobre qual será o próximo símbolo. Se temos certeza, que informações são obtidas ao recebê-las? Nenhum. É somente pela incerteza sobre o que o transmissor enviará que podemos receber qualquer informação.
Quando há informações mútuas entre dois vetores, saber algo sobre um diz algo sobre o outro. Matematicamente, isso equivale ao seguinte conhecimento de um vetor afeta as probabilidades do outro vetor. Se eles fossem independentes, este não seria o caso.
Um exemplo de informação mútua são os walkie-talkies digitais. Um vetor é o fluxo de bits que o primeiro walkie-talkie envia. O segundo vetor é o sinal que o segundo walkie-talkie recebe. Os dois estão obviamente relacionados, mas devido ao ruído e às condições desconhecidas do canal, o segundo walkie-talkie não pode ter certeza do que o primeiro enviou. Pode fazer algumas suposições realmente boas com base no sinal, mas não pode ter certeza.
fonte