Vou tentar, apesar de estar um pouco acima da minha cabeça, então trate com uma pitada de sal ...
Você não está exatamente errado. Eu acho que onde o seu experimento mental cai é que a entropia diferencial não é o caso limitador da entropia. Suponho que, por causa disso, os paralelos entre ele e a complexidade de Kolmogorov sejam perdidos.
Vamos dizer que temos uma variável aleatória discreta . Podemos calcular sua entropia de Shannon da seguinte forma, somando todos os seus possíveis valores x i ,
H ( X ) = -Xxi
H(X)=−∑iP(X=xi)log(P(X=xi)).
Até agora tão chato. Agora, digamos que é uma versão quantizada de uma variável aleatória contínua - digamos, temos a função de densidade p ( ) que gera amostras a partir do conjunto de números reais e transformamos isso em um histograma. Teremos um histograma fino o suficiente para que a função de densidade seja essencialmente linear. Nesse caso, teremos uma entropia assim:
H ( X ) ≈ - ∑ i p ( X = x i ) δ x log ( p ( X = x i ) δ xXp()
ondeδxé a largura das caixas do histograma exi
H(X)≈−∑ip(X=xi)δxlog(p(X=xi)δx),
δxxi é o ponto médio de cada um. Temos um produto dentro desse logaritmo - vamos separá-lo e usar a propriedade das distribuições de probabilidade somadas a 1 para movê-lo para fora do somatório, dando-nos
H(X)≈−log(δx)−∑ip(X=xi)δxlog(p(X=xi)).
δx→dx
H(X)=−log(dx)−∫xp(X=x)log(p(X=x))dx.
log(dx)
σ
Felizmente, não estamos totalmente perdidos. As divergências de Kullback-Leibler e, por extensão, as informações mútuas, são razoavelmente bem comportadas, pois todas asδ
∫xp(X=x)log(p(X=x)q(X=x))dx
q(X)Xp(X)q(X)