Perguntas sobre a teoria da informação, entropia e conteúdo de informação de várias fontes
Todas as seqüências de código Morse são decifráveis de maneira única? Sem os espaços, ......-...-..---.-----.-..-..-.. poderia ser, Hello Worldmas talvez a primeira letra seja uma 5- na verdade, parece muito improvável que uma sequência arbitrária de pontos e traços deva ter uma tradução...
Esta ideia me ocorreu quando criança aprendendo a programar e encontrando PRNG pela primeira vez. Ainda não sei o quão realista é, mas agora há troca de pilhas. Aqui está o esquema de uma criança de 14 anos para um incrível algoritmo de compactação: Pegue um PRNG e faça o seed com seed spara...
De acordo com a Wikipedia : A entropia de Shannon mede as informações contidas em uma mensagem em oposição à parte da mensagem que é determinada (ou previsível). Exemplos deste último incluem redundância na estrutura da linguagem ou propriedades estatísticas relacionadas às frequências de...
Digamos que preciso simular a seguinte distribuição discreta: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} A maneira mais óbvia é desenhar NNN bits aleatórios e...
Eu tenho um arquivo que contém números binários ordenados de a :2 n - 10 0002n- 12n−12^n - 1 0000000000 0000000001 0000000010 0000000011 0000000100 ... 1111111111 7z não compactou esse arquivo com muita eficiência (para n = 20, 22 MB foram compactados para 300 kB). Existem algoritmos que podem...
Estou lendo o livro: " Código: a linguagem oculta do hardware e software dos computadores " e no capítulo 2 o autor diz: Diz-se que o código Morse é um código binário (literalmente significa dois por dois) porque os componentes do código consistem em apenas duas coisas - um ponto e um traço. A...
Recentemente, deparei com o seguinte artigo interessante, que afirma compactar com eficiência conjuntos de dados aleatórios sempre em mais de 50%, independentemente do tipo e formato dos dados. Basicamente, ele usa números primos para construir exclusivamente uma representação de blocos de dados...
Para criptografar uma mensagem com uma tecla de teclado único faça .m1m1m_1kkkEn c ( m1, k ) = m1⊕ kEnc(m1,k)=m1⊕kEnc(m_1,k) = m_1 \oplus k Se você usar o mesmo para criptografar uma mensagem diferente obtém , e se você executa Xor dos dois textos cifrados, obtém kkkm2m2m_2En c ( m2, k ) = m2⊕...
Comparando um par ordenado (x, y) a um par não ordenado {x, y} (conjunto) e, em seguida, informações teoricamente, a diferença é de apenas um bit, pois se x vem primeiro ou y requer exatamente um único bit para representar. Portanto, se recebermos um conjunto {x, y} em que x, y são dois números...
Você tem uma matriz de elementos distintos. Você tem acesso a um comparador (a função de caixa preta tomando dois elementos e e retornando verdadeira sse ) e uma fonte verdadeiramente aleatório de bits (a função de caixa preta que não recebe argumentos e retornar um pouco independentemente...
Eu estava lendo sobre algoritmos de compactação de dados e o limite teórico para compactação de dados. Recentemente, encontrei um método de compressão chamado "Combinatorial Entropy Encoding", a idéia principal desse método é codificar o arquivo como os caracteres apresentados no arquivo, suas...
De acordo com a Wikipedia : Informalmente, do ponto de vista da teoria algorítmica da informação, o conteúdo da informação de uma string é equivalente ao comprimento da menor representação possível possível dessa string. Qual é a definição rigorosa informal análoga de "informação útil"? Por...
A especificação de qualquer grade 9x9 arbitrária requer a posição e o valor de cada quadrado. Uma codificação ingênua para isso pode fornecer 81 (x, y, valor) trigêmeos, exigindo 4 bits para cada x, y e valor (1-9 = 9 valores = 4 bits) para um total de 81x4x3 = 972 bits. Ao numerar cada quadrado, é...
Dada uma sequência de valores , a Entropia de Shannon na base de log chega a . Pelo que entendi, na base a Entropia de Shannon arredondada é o número mínimo de bits em binário para representar um único dos valores.AAAAAAAABCAAAAAAAABCAAAAAAAABC2220.9220.9220.922222 Retirado da introdução nesta...
Atualmente, estou escrevendo algum código para gerar dados binários. Eu preciso especificamente gerar números de 64 bits com um determinado número de bits definidos; mais precisamente, o procedimento deve levar cerca de e retornar um número pseudo-aleatório de 64 bits com exatamente n bits definido...
No trabalho, fui encarregado de deduzir algumas informações de tipo sobre uma linguagem dinâmica. Reescrevo seqüências de instruções em letexpressões aninhadas , da seguinte maneira: return x; Z => x var x; Z => let x = undefined in Z x = y; Z => let x = y in Z if x then T else F; Z =>...
Ao tentar entender as relações entre a codificação de Huffman, a codificação aritmética e a codificação de intervalo, comecei a pensar nas deficiências da codificação de Huffman relacionadas ao problema do empacotamento de bits fracionário . Ou seja, suponha que você tenha 240 valores possíveis...
Na teoria da codificação, 'quão bom é um código' significa quantos erros de canal podem ser corrigidos, ou melhor, o nível máximo de ruído com o qual o código pode lidar. Para obter códigos melhores, os códigos são projetados usando um alfabeto grande (em vez de um código binário). E então, o...
O requisito da codificação como livre de prefixo resulta em árvores grandes, pois a árvore precisa estar completa. Existe um limite em que o armazenamento de dados não codificado de comprimento fixo seja mais eficiente do que codificar os
O problema é provar ou refutar a existência de CCC , st, | c | =6,∀c∈C|c|=6,∀c∈C|c| = 6,\forall c\in C ; | C| =32|C|=32|C| = 32 ; d( cEu, cj) ≥ 2 , 1 ≤ i < j ≤ 32d(ci,cj)≥2,1≤i<j≤32d(c_i,c_j)\geq2,1\leq