Divergência de Kullback-Leibler SEM teoria da informação

Depois de muita pesquisa cruzada validada, ainda não me sinto mais perto de entender a divergência entre KL fora do campo da teoria da informação. É bastante estranho, como alguém com formação em matemática, achar muito mais fácil entender a explicação da teoria da informação.

Para delinear meu entendimento a partir de um histórico da teoria da informação: se tivermos uma variável aleatória com um número finito de resultados, existe uma codificação ideal que nos permite comunicar o resultado com outra pessoa com, em média, a mensagem mais curta (acho mais fácil imagem em termos de bits). A duração esperada da mensagem que seria necessária para comunicar o resultado é dada por

$$-\sum _{\alpha}p_{\alpha}\log_{2}(p_{\alpha})$$ se a codificação ideal for usada. Se você usar uma codificação subótima, a divergência de KL nos dirá, em média, quanto tempo nossa mensagem seria.

Eu gosto dessa explicação, porque lida intuitivamente com a assimetria da divergência de KL. Se tivermos dois sistemas diferentes, ou seja, duas moedas carregadas com carga diferente, elas terão codificações ótimas diferentes. De alguma forma, não sinto instintivamente que usar a codificação do segundo sistema para o primeiro é "igualmente ruim" para usar a codificação do primeiro sistema para o segundo. Sem passar pelo processo de pensamento de como me convenci, agora estou bastante feliz que

$$\sum _{\alpha}p_{\alpha}( \log _{2}q_{\alpha}-\log_{2}p_{\alpha})$$ ofereça esse "comprimento de mensagem extra esperado", ao usar a codificação $q$ para $p$ .

No entanto, a maioria das definições de divergência de KL, incluindo a Wikipedia, faz a afirmação (mantendo-a em termos discretos para que possa ser comparada com a interpretação da teoria da informação que funciona muito melhor em termos discretos, pois os bits são discretos) que, se tivermos duas probabilidades distintas distribuições, a KL fornece algumas métricas de "quão diferentes elas são". Ainda estou para ver uma única explicação de como esses dois conceitos estão relacionados. Parece que me lembro em seu livro sobre inferência, Dave Mackay aponta como a compactação e inferência de dados são basicamente a mesma coisa, e suspeito que minha pergunta esteja realmente relacionada a isso.

Independentemente de ser ou não, o tipo de pergunta que tenho em mente é sobre problemas de inferência. (Mantendo as coisas discretas), se tivermos duas amostras radioativas, e sabemos que uma delas é um determinado material com radioatividade conhecida (isso é física dúbia, mas vamos fingir que o universo funciona assim) e, assim, sabemos a distribuição "verdadeira" dos cliques radioativos que devemos medir devem ser poissonianos com conhecido , é justo criar uma distribuição empírica para ambas as amostras e comparar suas divergências KL com a distribuição conhecida e dizer que menor é mais provável que seja esse material?$\lambda$

Afastar-me da física duvidosa, se eu souber que duas amostras são extraídas da mesma distribuição, mas eu sei que não são selecionadas aleatoriamente, compararia suas divergências de KL com a conhecida distribuição global, dando-me uma ideia de "quão tendenciosa" as amostras são , em relação a um e outro, afinal?

E, finalmente, se a resposta para as perguntas anteriores for sim, então por quê? É possível entender essas coisas apenas do ponto de vista estatístico, sem fazer nenhuma conexão (possivelmente tênue) à teoria da informação?

Existe uma abordagem puramente estatística para a divergência de Kullback-Leibler: pegue uma amostra iid de uma distribuição desconhecida p ⋆ e considere o ajuste potencial por uma família de distribuições, F = { p $X_1,\ldots,X_n$$p^\star$ A probabilidade correspondente é definida como L ( θ | x 1 , … , x n ) = n ∏ i = 1 p θ (

$$\mathfrak{F}=\{p_\theta\,,\ \theta\in\Theta\}$$ e seu logaritmo é ℓ ( θ | x 1 , … , x n ) = n ∑ i = 1 log p θ ( x i $$L(\theta|x_1,\ldots,x_n)=\prod_{i=1}^n p_\theta(x_i)$$ $$\ell(\theta|x_1,\ldots,x_n)=\sum_{i=1}^n \log p_\theta(x_i)$$ Portanto, que é a parte interessante da divergência de Kullback-Leibler entre p θ e p $$\frac{1}{n} \ell(\theta|x_1,\ldots,x_n) \longrightarrow \mathbb{E}[\log p_\theta(X)]=\int \log p_\theta(x)\,p^\star(x)\text{d}x$$ $p_\theta$$p^\star$ a outra parte ∫ log { p ⋆ ( x ) $$\mathfrak{H}(p_\theta|p^\star)\stackrel{\text{def}}{=}\int \log \{p^\star(x)/p_\theta(x)\}\,p^\star(x)\text{d}x$$ estando lá para ter o mínimo [em θ ] de H ( p θ | p ⋆ ) igual a zero. $$\int \log \{p^\star(x)\}\,p^\star(x)\text{d}x$$ $\theta$$\mathfrak{H}(p_\theta|p^\star)$

Um livro que conecta divergência, teoria da informação e inferência estatística é a estimativa ótima de parâmetros de Rissanen , que revi aqui .

Aqui está uma interpretação estatística da divergência Kullback-Leibler, extraída de IJ Good ( Peso da evidência: Uma breve pesquisa , Bayesian Statistics 2, 1985).

O peso da evidência.

Suponha que você observe os pontos de dados que você tem motivos para acreditar que são amostras independentes de alguma distribuição desconhecida com uma densidade f 0 . No caso mais simples, você tem duas hipóteses H 1 e H 2 sobre o que é f 0 , diga H 1 = { $x_1, x_2, \dots, x_n$$f_0$$H_1$$H_2$$f_0$ e H 2 = { f 2 } . Assim, você modelou o desconhecido f $H_1 = \{f_1\}$$H_2 = \{f_2\}$$f_0$como sendo um de ou f 2 .$f_1$$f_2$

O peso da evidência da amostra para H 1 contra H 2 é definido como W ( x ) = log f 1 ( x $x = (x_1, \dots, x_n)$$H_1$$H_2$ É uma quantidade fácil de interpretar, especialmente dado umPprévionas hipótesesH0eH

$$W(x) = \log \frac{f_1(x)}{f_2(x)} .$$ $P$$H_0$$H_1$ . De fato, nesse caso as probabilidades logarítmicas posteriores são mais as probabilidades logarítmicas anteriores: log P ( H 0 | x $W$ Essa quantidade também possui várias propriedades convenientes, como aditividade para amostras independentes: W(x1,…,xn)=W(x1)+⋯ $$\log \frac{P(H_0 | x)}{P(H_1 | x)} = W(x) + \log\frac{P(H_0)}{P(H_1)}.$$ Good fornece uma justificativa adicional para o uso do peso da evidência, e W ( x ) também é referido por Kullback e Leibler (no artigo que introduziu a divergência de KL) como"as informações em x $$W(x_1, \dots, x_n) = W(x_1) + \dots +W(x_n) .$$ $W(x)$$x$$H_1$$H_2$

Em resumo, dada uma amostra , o peso da evidência$x$$W(x)$$W(x) > 2$

A divergência Kullback-Leibler

$f_1$$f_2$$x \sim f_1$

$$KL(f_1, f_2) = \mathbb{E}_{x \sim f_1} W(x) = \int f_1 \log\frac{f_1}{f_2}.$$

$x \sim f_1$$H_1 = \{f_1\}$$H_2$

$$\mathbb{E}_{x \sim f_1} W(x) \geq 0.$$

Ainda estou para ver uma única explicação de como esses dois conceitos estão relacionados.

Não sei muito sobre teoria da informação, mas é assim que penso: quando ouço uma pessoa da teoria da informação dizer "comprimento da mensagem", meu cérebro diz "surpresa". A surpresa é 1.) aleatória e 2.) subjetiva.

$X$$q(X)$$- \log q(X)$

$q$$X$$p$$p$$E_p[-\log p(X)]$$q$$p$$E_p[-\log q(X)]$

Em vez de pensar em "quão diferentes eles são", penso no "aumento da surpresa esperada pelo uso da distribuição errada". Isso tudo é das propriedades do logaritmo.

$$E_p[\log \left( \frac{p(X)}{q(X)} \right)] = E_p[-\log q(X)] - E_p[- \log p(X)] \ge 0.$$

Editar

$−\log(q(x))$$q$

$X$$q$$x$$0$$-\log(0) = \infty$$1$$0$

$-\log$

$q(x) > 1$

$X \sim q_X(x)$$Y=aX+b \sim q_x((y-b)/a)|1/a|$$X$$-\log q_X(X) \neq -\log q_Y(Y)$

$(X-EX)^2$

Edit 2: parece que não sou o único que pensa nisso como "surpresa". A partir daqui :

$y$$\theta$$-2 \log\{ p(y \mid \theta)\}$