Relação entre entropia e SNR

13

Em geral, qualquer forma de inscrição é definida como incerteza ou aleatoriedade. Em um ambiente barulhento, com aumento de ruído, acredito que a entropia aumenta, pois temos mais incerteza sobre o conteúdo da informação do sinal desejado. Qual é a relação entre entropia e SNR? Com o aumento da relação sinal / ruído, a potência do ruído diminui, mas isso não implica que o conteúdo de informações do sinal aumente !! O conteúdo da informação pode permanecer o mesmo; isso significa que a entropia não é afetada?

Ria George
fonte

Respostas:

7

Quando você diz que o "conteúdo da informação pode permanecer o mesmo", você quer dizer a informação no sinal total ou a informação do sinal desejado? Espero que isso responda aos dois casos. Conheço a entropia de Shannon muito melhor que Kolmogorov, então usarei isso, mas espero que a lógica se traduza.

Digamos é o sinal total ( X ), composto pela soma do seu sinal desejado S e seu ruído componente N . Vamos chamada entropia H . Como você disse, o ruído adiciona entropia ao sistema, aumentando sua complexidade. No entanto, não é necessariamente apenas porque estamos mais incertos sobre o conteúdo de informações do sinal, mas porque há mais incerteza no sinal em geral. Se o tipo SNR mede quão certo somos do que S é, então H ( X ) mede o quão bem podemos prever estados futuros de XX=S+NXSNHSH(X)Xcom base no estado atual de . A entropia preocupa-se com a complexidade do sinal, independentemente da composição do ruído versus o não-ruído.X

Se você aumenta o SNR removendo o ruído (atenuando ), diminui a complexidade total do sinal X e, portanto, sua entropia. Você não perdeu qualquer informação transportada por S , apenas as informações (presumivelmente sem sentido) realizada por N . Se N é ruído aleatório, obviamente ele não carrega informações significativas, mas é necessária uma certa quantidade de informações para descrever o estado de N , determinado pelo número de estados em que N pode estar e pela probabilidade de estar em cada um desses estados. Essa é a entropia.NXSNNN

Podemos observar duas distribuições gaussianas com diferentes variações, digamos, uma com variação de e a outra com variação de 100 . Olhando apenas a equação para uma distribuição gaussiana, vemos que a distribuição V a r = 100 tem uma probabilidade máxima de apenas 11100Var=100 o valor daprobabilidadedevar=1distr. Por outro lado, isso significa que há uma maior probabilidade de queVar=100distr aceite valores diferentes da média ou que haja mais certeza de que adistribuiçãoVar=1levará valores próximos à média. Portanto, adistribuiçãoVar=1tem uma entropia menor que adistribuiçãoVar=100.110var=1Var=100Var=1Var=1Var=100

Estabelecemos que uma maior variância implica maior entropia. Observando a propagação de erros, também é verdade que (igual a X , Y independente ). Se X = S + N , então para entropia H , H ( X ) = H ( S + N ) . Desde aVar(X+Y)>=Var(X)+Var(Y)XYX=S+NHH(X)=H(S+N) é (indiretamente) uma função da variância, podemos manipular um pouco as coisas para dizer H ( V a r [ X ] ) = H ( V a r [ S + N ] ) . Para simplificar, dizemos que S e N são independentes, então H ( V a r [ X ] ) = H ( V a r [ S ] + V a r [ NHH(Var[X])=H(Var[S+N])SN . SNR aprimorado geralmente significa atenuar a potência do ruído. Este novo sinal com SNR maior será então X = S + ( 1H(Var[X])=H(Var[S]+Var[N]), parak>1. A entropia se tornaH(Var[X])=H(Var[S]+(1/k)2Var[N]). ké maior que1, entãoVar[N]diminui quando N é atenuado. SeVaX=S+(1k)Nk>1H(Var[X])=H(Var[S]+(1/k)2Var[N])k1Var[N] diminui, assim como V a r [ S + N ] e, portanto, V a r [ X ] , resultando em uma diminuição de H ( X ) .Var[N]Var[S+N]Var[X]H(X)

Não é muito conciso, desculpe. Em suma, 's entropia diminui se você aumentar SNR, mas você não fez nada para S ' informações s. Não consigo encontrar as fontes no momento, mas há um método para calcular SNR e informações mútuas (uma medida bivariada semelhante à entropia) um do outro. Talvez o principal argumento seja que SNR e entropia não medem a mesma coisa.XS

dpbont
fonte
Obrigado pelos detalhes, teria sido realmente ótimo se houvesse uma referência para a pequena análise que você fez desde que eu preciso fornecer essa relação entre entropia e SNR em um artigo e, portanto, a citação.
Ria George
Minha análise é bem informal; depende demais da intuição / lógica para reivindicar qualquer tipo de rigor. O ponto fraco que vejo imediatamente é a afirmação de que o aumento do SNR é equivalente à diminuição da variação geral. Esta declaração é válida se você aumentar o SNR atenuando o ruído, mas não necessariamente se você aumentar a potência do sinal (porque isso poderia aumentar a variação do sinal ==> variação geral ==> entropia). É provável que haja outra maneira de chegar a essa conclusão. Eu acho que a relação entre MI e SNR veio Schloegl 2010 "Métodos adaptativos no BCI Research - um tutorial introdutório"
dpbont
: Desculpe iniciar novamente este tópico na continuação. Me deparei com um problema quando estava encontrando o erro da entropia de um modelo em que error = desejado_sinal - estimado_sinal. Ao aumentar o SNR, descobri que a entropia do erro está aumentando. Mas, quando calculo a entropia do sinal desejado com o aumento do SNR, a entropia do X diminui. Você pode, por favor, apresentar algumas idéias sobre o caso anterior, em que a entropia do erro aumenta com o aumento do SNR? X
Ria George
Duas questões. 1) Quando você diz que o SNR aumenta, você quer dizer SNR do sinal estimado? (Suponho que sim.) 2) O que acontece com o seu erro à medida que a entropia do erro aumenta? De um modo geral, o aumento da entropia significa aumento da variação / diminuição da previsibilidade. Talvez eu possa imaginar uma situação em que sua variação de erro aumenta, mas você remove um viés de erro (o que poderia aumentar a entropia de erros, mas diminuir o erro).
dpbont
Obrigado por sua pronta resposta. (1) por SNR aumentar quero dizer aumentar o SNR do ruído de medição na model.So, na Eq eu aumentar o SNR de N e medir entropia H1 (X) e H2 (erro). (2) Os erros diminuem e todos os valores se tornam mais ou menos iguais, mas não zero. A maneira como calculo a entropia do erro é a seguinte: Considerando o modelo AR (2). No final do receptor, z ( t ) = X ( t ) - ( a 1 X ( t - 1 ) + b 1 X ( t - 2X=S+NN onde (a1, b1) são parâmetroscalculados& X ( t ) são observações em um SNR particular de N, digamos snr1. Digamos que eu tenho 5 pares de palpites (a1, b1) e para cada par eu recebo entropia de erro. z(t)=X(t)(a1X(t1)+b1X(t2))X(t)N
Ria George
1

Aqui está uma citação de [1, p. 186]para você, OP ou Googler, começar:

Muito aproximadamente, H(number of active components in data)×logSNR

Aqui H é a entropia negativa da distribuição posterior dos parâmetros do seu modelo de sinal. Boa sorte!

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006
Marnix
fonte