Perguntas com a marcação «shannon-entropy»

Lema: Assumindo a eta-equivalência, temos isso (\x -> ⊥) = ⊥ :: A -> B. Prova: ⊥ = (\x -> ⊥ x)por eta-equivalência e (\x -> ⊥ x) = (\x -> ⊥)por redução no lambda. O relatório Haskell 2010, seção 6.2 especifica a seqfunção por duas equações: seq :: a -> b -> b seq ⊥ b = ⊥ seq...

Normalmente, a entropia de Shannon é usada para provar os resultados da codificação de canal. Mesmo para os resultados da separação do canal de origem, é usada a entropia de Shannon. Dada a equivalência entre as noções de informação de Shannon (global) e Kolmogorov (local), houve um estudo para...

Eu estou procurando um ligado na entropia da soma de duas variáveis aleatórias discretas independentes X e Y . Naturalmente, H ( X + Y ) ≤ H ( X ) + H ( Y ) ( ∗ ) No entanto, aplicado à soma de n variáveis ​​aleatórias independentes Bernoulli Z 1 , … , Z n , isso dá H ( Z 1...

Conheço o trabalho de Shannon com entropia, mas ultimamente tenho trabalhado em estruturas de dados sucintas nas quais a entropia empírica é frequentemente usada como parte da análise de armazenamento. Shannon definido a entropia da informação produzida por uma fonte de informação discreta como -...

Digamos que eu tenho uma variável aleatória de um bit e seja n um número natural. Eu quero uma sequência de variáveis ​​aleatórias 0 = X 0 , X 1 , … , X n = X stX∈ { 0 , 1 }X∈{0,1}X \in \{0,1\}nnn0 = X0 0, X1, … , Xn= X0=X0,X1,…,Xn=X0 = X_0, X_1, \ldots, X_n = X H( X | { X 0 0, … , Xk} ) = 1 -...