Em geral, qualquer forma de inscrição é definida como incerteza ou aleatoriedade. Em um ambiente barulhento, com aumento de ruído, acredito que a entropia aumenta, pois temos mais incerteza sobre o conteúdo da informação do sinal desejado. Qual é a relação entre entropia e SNR? Com o aumento da...
Estou confuso ao entender os conceitos básicos de comunicação pelos canais AWGN. Eu sei que a capacidade de um canal AWGN de tempo discreto é: e é alcançada quando o sinal de entrada tem Gaussian distribuição. Mas, o que significa que o sinal de entrada é gaussiano? Isso significa que a...
Além da equação bruta para o cálculo de informações mútuas, o que isso significa em termos físicos? Por exemplo: Na Teoria da Informação, sabemos que a entropia é o menor esquema de compactação sem perdas que podemos usar em um alfabeto com uma distribuição de probabilidade específica. O que isso...
Um cliente estava tentando me enviar 250 GB de arquivos. Depois de tentar várias maneiras de compartilhar os dados, ele me enviou uma pasta compactada com apenas 4 GB de tamanho. Parece muita compressão para mim - não acho que, quando fechei as coisas, reduzi mais de 20% do tamanho. Quais são...
Há muito que enfrento a confusão em relação à entropia e seria obrigado se o seguinte fosse respondido em um jargão menos técnico. Seguindo o link Diferentes tipos de entropia levantam as seguintes questões Entropia - É desejável que a entropia do sistema seja maximizada. Maximizar a entropia...
até hoje eu sabia que um bit é uma variável ou um espaço na memória que pode conter um valor de Um (alto) ou Zero (baixo). Este é o conceito que aprendi estudando programação de computadores, microprocessador ou barramento de dados, etc. Mas depois de iniciar o curso sobre teoria da informação,...