Quando você diz que o "conteúdo da informação pode permanecer o mesmo", você quer dizer a informação no sinal total ou a informação do sinal desejado? Espero que isso responda aos dois casos. Conheço a entropia de Shannon muito melhor que Kolmogorov, então usarei isso, mas espero que a lógica se traduza.
Digamos é o sinal total ( X ), composto pela soma do seu sinal desejado S e seu ruído componente N . Vamos chamada entropia H . Como você disse, o ruído adiciona entropia ao sistema, aumentando sua complexidade. No entanto, não é necessariamente apenas porque estamos mais incertos sobre o conteúdo de informações do sinal, mas porque há mais incerteza no sinal em geral. Se o tipo SNR mede quão certo somos do que S é, então H ( X ) mede o quão bem podemos prever estados futuros de XX=S+NXSNHSH(X)Xcom base no estado atual de . A entropia preocupa-se com a complexidade do sinal, independentemente da composição do ruído versus o não-ruído.X
Se você aumenta o SNR removendo o ruído (atenuando ), diminui a complexidade total do sinal X e, portanto, sua entropia. Você não perdeu qualquer informação transportada por S , apenas as informações (presumivelmente sem sentido) realizada por N . Se N é ruído aleatório, obviamente ele não carrega informações significativas, mas é necessária uma certa quantidade de informações para descrever o estado de N , determinado pelo número de estados em que N pode estar e pela probabilidade de estar em cada um desses estados. Essa é a entropia.NXSNNN
Podemos observar duas distribuições gaussianas com diferentes variações, digamos, uma com variação de e a outra com variação de 100 . Olhando apenas a equação para uma distribuição gaussiana, vemos que a distribuição V a r = 100 tem uma probabilidade máxima de apenas 11100Var=100 o valor daprobabilidadedevar=1distr. Por outro lado, isso significa que há uma maior probabilidade de queVar=100distr aceite valores diferentes da média ou que haja mais certeza de que adistribuiçãoVar=1levará valores próximos à média. Portanto, adistribuiçãoVar=1tem uma entropia menor que adistribuiçãoVar=100.110var=1Var=100Var=1Var=1Var=100
Estabelecemos que uma maior variância implica maior entropia. Observando a propagação de erros, também é verdade que (igual a X , Y independente ). Se X = S + N , então para entropia H , H ( X ) = H ( S + N ) . Desde aVar(X+Y)>=Var(X)+Var(Y)XYX=S+NHH(X)=H(S+N) é (indiretamente) uma função da variância, podemos manipular um pouco as coisas para dizer H ( V a r [ X ] ) = H ( V a r [ S + N ] ) . Para simplificar, dizemos que S e N são independentes, então H ( V a r [ X ] ) = H ( V a r [ S ] + V a r [ NHH(Var[X])=H(Var[S+N])SN . SNR aprimorado geralmente significa atenuar a potência do ruído. Este novo sinal com SNR maior será então X = S + ( 1H(Var[X])=H(Var[S]+Var[N]), parak>1. A entropia se tornaH(Var[X])=H(Var[S]+(1/k)2∗Var[N]). ké maior que1, entãoVar[N]diminui quando N é atenuado. SeVaX=S+(1k)Nk>1H(Var[X])=H(Var[S]+(1/k)2∗Var[N])k1Var[N] diminui, assim como V a r [ S + N ] e, portanto, V a r [ X ] , resultando em uma diminuição de H ( X ) .Var[N]Var[S+N]Var[X]H(X)
Não é muito conciso, desculpe. Em suma, 's entropia diminui se você aumentar SNR, mas você não fez nada para S ' informações s. Não consigo encontrar as fontes no momento, mas há um método para calcular SNR e informações mútuas (uma medida bivariada semelhante à entropia) um do outro. Talvez o principal argumento seja que SNR e entropia não medem a mesma coisa.XS
Aqui está uma citação de
[1, p. 186]
para você, OP ou Googler, começar:AquiH é a entropia negativa da distribuição posterior dos parâmetros do seu modelo de sinal. Boa sorte!
fonte