Eu estou procurando um ligado na entropia da soma de duas variáveis aleatórias discretas independentes X e Y . Naturalmente, H ( X + Y ) ≤ H ( X ) + H ( Y ) ( ∗ ) No entanto, aplicado à soma de n variáveis aleatórias independentes Bernoulli Z 1 , … , Z n , isso dá H ( Z 1 +
Em outras palavras, o limite cresce linearmente com n quando aplicado repetidamente. No entanto, Z 1 + ⋯ Z n é suportado em um conjunto de tamanho n , portanto sua entropia é no máximo log n . Na verdade, pelo teorema limite central, acredito que H ( Z 1 + ⋯ + Z n ) ≈ ( 1 / 2 ) de registo
já que é essencialmente suportado em um conjunto de tamanho √ .
Em resumo, o limite ultrapassa um pouco nessa situação. Ao ler esta publicação no blog , eu entendo todos os tipos de limites em H ( X + Y ) são possíveis; existe um limite que dê os assintóticos corretos (ou, pelo menos, assintóticos mais razoáveis) quando aplicado repetidamente à soma das variáveis aleatórias de Bernoulli?
it.information-theory
shannon-entropy
Robinson
fonte
fonte
Respostas:
fonte
fonte
Talvez você possa usar a equação:
Parece um termo que você mencionou nos comentários, infelizmente não conheço resultados sobre a cardinalidade dos termos negativos ou limites perspicazes sobre eles.
fonte