Esta ideia me ocorreu quando criança aprendendo a programar e encontrando PRNG pela primeira vez. Ainda não sei o quão realista é, mas agora há troca de pilhas. Aqui está o esquema de uma criança de 14 anos para um incrível algoritmo de compactação: Pegue um PRNG e faça o seed com seed spara...
De acordo com a Wikipedia : A entropia de Shannon mede as informações contidas em uma mensagem em oposição à parte da mensagem que é determinada (ou previsível). Exemplos deste último incluem redundância na estrutura da linguagem ou propriedades estatísticas relacionadas às frequências de...
Alan Turing propôs um modelo para uma máquina (a Máquina de Turing, TM) que calcula (números, funções, etc.) e provou o Teorema da Halting . Uma TM é um conceito abstrato de uma máquina (ou mecanismo, se você preferir). O Teorema da Parada é um resultado impossível. Um Motor de Carnot (CE) é um...
Digamos que preciso simular a seguinte distribuição discreta: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} A maneira mais óbvia é desenhar NNN bits aleatórios e...
Some chap disse o seguinte: Qualquer um que tente gerar números aleatórios por meios determinísticos está, é claro, vivendo em um estado de pecado. Isso sempre significa que você não pode gerar números aleatórios verdadeiros com apenas um computador. E ele disse que quando os computadores...
No Linux, os arquivos /dev/randome os/dev/urandom arquivos são as fontes de bloqueio e não bloqueio (respectivamente) de bytes pseudo-aleatórios. Eles podem ser lidos como arquivos normais: $ hexdump /dev/random 0000000 28eb d9e7 44bb 1ac9 d06f b943 f904 8ffa 0000010 5652 1f08 ccb8 9ee2 d85c 7c6b...
Você tem uma matriz de elementos distintos. Você tem acesso a um comparador (a função de caixa preta tomando dois elementos e e retornando verdadeira sse ) e uma fonte verdadeiramente aleatório de bits (a função de caixa preta que não recebe argumentos e retornar um pouco independentemente...
Dada uma sequência de valores , a Entropia de Shannon na base de log chega a . Pelo que entendi, na base a Entropia de Shannon arredondada é o número mínimo de bits em binário para representar um único dos valores.AAAAAAAABCAAAAAAAABCAAAAAAAABC2220.9220.9220.922222 Retirado da introdução nesta...
No trabalho, fui encarregado de deduzir algumas informações de tipo sobre uma linguagem dinâmica. Reescrevo seqüências de instruções em letexpressões aninhadas , da seguinte maneira: return x; Z => x var x; Z => let x = undefined in Z x = y; Z => let x = y in Z if x then T else F; Z =>...
Ao tentar entender as relações entre a codificação de Huffman, a codificação aritmética e a codificação de intervalo, comecei a pensar nas deficiências da codificação de Huffman relacionadas ao problema do empacotamento de bits fracionário . Ou seja, suponha que você tenha 240 valores possíveis...
Eu tenho um problema de otimização restrito na entropia da matriz (Shannon) . A matriz A pode ser escrita como a soma das matrizes de classificação 1 do formulário [ v i( s u m( e n t r ( e i g ( A ) ) ) )(sum(entr(eig(A))))\mathtt{(sum(entr(eig(A))))}UMAAA onde v i é um dado vector normalizado. Os...
Agora estou tentando medir muitas informações não redundantes (reais) do meu arquivo. Alguns chamam isso de quantidade de entropia. É claro que existe o log p (x) padrão {p (x)}, mas acho que Shannon estava considerando apenas o ponto de vista da transmissão através de um canal. Portanto, a...
A entropia de Shannon [plog (1 / p)] para uma imagem é um método probabilístico para comparar dois pixels ou um grupo de pixels. Suponha que uma imagem com uma matriz de 3x3 tenha valores de intensidade de pixel 1 1 2 2 3 3 4 4 5 e outra imagem com matriz 3x3 tem grupo de pixels com valores de...
Em muitos artigos, li que é bem sabido que a entropia de Shannon de uma variável aleatória pode ser convertida em min-entropia (até pequena distância estatística) tirando cópias independentes da variável. Alguém pode me explicar o que exatamente isso