Questões em Teoria da Informação
Quais são os seus exemplos favoritos em que a teoria da informação é usada para provar uma declaração combinatória pura de uma maneira simples? Alguns exemplos em que posso pensar estão relacionados a limites mais baixos para códigos decodificáveis localmente, por exemplo, neste artigo: suponha...
Informalmente, a complexidade de Kolmogorov de uma string é o comprimento de um programa mais curto que gera . Podemos definir uma noção de 'string aleatória' usando-a ( é aleatório se ) É fácil ver que a maioria das strings é aleatória (não há tantos programas
Esta pergunta foi feita a Jeannette Wing após sua apresentação no PCAST sobre ciência da computação. “Do ponto de vista da física, existe um volume máximo de informações que possamos ter?” (Uma boa pergunta de desafio para a comunidade teórica da ciência da computação, pois acho que ela implora...
A complexidade do prefixo Kolmogorov (ou seja, é o tamanho do programa auto-delimitador mínimo que gera ) possui vários recursos interessantes:xK( X )K(x)K(x)xxx Corresponde a uma intuição de fornecer a strings com padrões ou estrutura uma complexidade menor do que strings sem. Ela nos permite...
Estou procurando códigos de correção de erros do seguinte tipo: códigos binários com taxa constante, decodificável a partir de uma fração constante de erros, por um decodificador implementável como um circuito booleano de tamanho , em que N é o comprimento da codificação.O(N)O(N)O(N)NNN Alguns...
O código de Huffman para uma distribuição de probabilidade ppp é o código de prefixo com a palavra de código ponderado média comprimento mínimo ∑piℓi∑piℓi\sum p_i \ell_i , onde ℓiℓi\ell_i é o comprimento do iii th codword. É um teorema bem conhecido que o comprimento médio por símbolo do código de...
Na teoria da informação quântica, a distância entre dois canais quânticos é frequentemente medida usando a norma do diamante. Também existem várias maneiras de medir a distância entre dois estados quânticos, como a distância do traço, a fidelidade, etc. O isomorfismo de Jamiołkowski fornece uma...
A complexidade da informação tem sido uma ferramenta muito útil na complexidade da comunicação, usada principalmente para limitar a complexidade da comunicação de problemas distribuídos. Existe um análogo da complexidade da informação para a complexidade da consulta? Existem muitos paralelos...
Na implementação de um filtro Bloom, a abordagem tradicional exige várias funções hash independentes. Kirsch e Mitzenmacher mostraram que você realmente precisa apenas de dois e pode gerar o restante como combinações lineares. Minha pergunta é: qual é realmente a diferença entre duas funções de...
Ultimamente, tenho lidado com algoritmos relacionados à compactação, e me perguntava qual é a melhor taxa de compactação que pode ser alcançada pela compactação de dados sem perdas. Até agora, a única fonte que pude encontrar sobre esse tópico foi a Wikipedia: A compactação sem perdas de dados...
Muitos de nós estamos familiarizados - ou pelo menos já ouvimos falar - da entropia de Shannon de uma variável aleatória, e todos os relacionados. medidas teóricas da informação, como entropia relativa, informações mútuas etc. Existem algumas outras medidas de entropia que são comumente usadas na...
Lema: Assumindo a eta-equivalência, temos isso (\x -> ⊥) = ⊥ :: A -> B. Prova: ⊥ = (\x -> ⊥ x)por eta-equivalência e (\x -> ⊥ x) = (\x -> ⊥)por redução no lambda. O relatório Haskell 2010, seção 6.2 especifica a seqfunção por duas equações: seq :: a -> b -> b seq ⊥ b = ⊥ seq...
O popular algoritmo DEFLATE usa a codificação Huffman em cima do Lempel-Ziv. Em geral, se tivermos uma fonte aleatória de dados (= entropia de 1 bit / bit), nenhuma codificação, incluindo Huffman, provavelmente a compactará em média. Se Lempel-Ziv fosse "perfeito" (que se aproxima da maioria das...
Normalmente, a entropia de Shannon é usada para provar os resultados da codificação de canal. Mesmo para os resultados da separação do canal de origem, é usada a entropia de Shannon. Dada a equivalência entre as noções de informação de Shannon (global) e Kolmogorov (local), houve um estudo para...
Existem pesquisadores mostrando que o apagamento de bit deve consumir energia, agora existem pesquisas sobre o consumo médio de energia do algoritmo com complexidade computacional ? Eu acho que a complexidade computacional F ( n ) está correlacionada com o consumo médio de energia, espero poder...
Eu estou procurando um ligado na entropia da soma de duas variáveis aleatórias discretas independentes X e Y . Naturalmente, H ( X + Y ) ≤ H ( X ) + H ( Y ) ( ∗ ) No entanto, aplicado à soma de n variáveis aleatórias independentes Bernoulli Z 1 , … , Z n , isso dá H ( Z 1...
Digamos que temos uma função , de modo que ( para que possamos pensar em como uma distribuição). É natural definir a entropia de uma função da seguinte maneira: f:Zn2→Rf:Z2n→Rf:\mathbb{Z}_2^n \to \mathbb{R}∑x∈Zn2f(x)2=1∑x∈Z2nf(x)2=1\sum _{x\in \mathbb{Z}_2^n} f(x)^2 = 1{f(x)2}x∈Zn2{f(x)2}x∈Z2n\{...
Trabalho em um laboratório de neurociência computacional que quantifica as informações mútuas entre pares ou grupos de neurônios. Recentemente, o chefe mudou seu foco para medir a "complexidade da dinâmica neural". Ao seguir essa linha de pesquisa, algumas pessoas no meu grupo parecem equiparar...
Dado um estado quântico escolhido uniformemente aleatoriamente a partir de um conjunto de estados mistos , qual é a probabilidade média máxima de identificar corretamente ? N ρ 1 . . . ρ N AρUMAρA\rho_ANNNρ1. . . ρNρ1...ρN\rho_1 ... \rho_NUMAAA Esse problema pode ser transformado em um problema de...
Vamos fixar e um número inteiro .0<E<10<E<10 E \} mas também, talvez, usando poucas coordenadas do conjunto {i | ci≤E}{i | ci≤E}\{ i ~|~ c_i \leq E \} poderíamos criar outro bom conjunto! Então, prove ou encontre o bug! esperando que possa ser um jogo divertido para você! Motivação da...