Conexão entre a métrica de Fisher e a entropia relativa

Alguém pode provar a seguinte conexão entre a métrica de informações de Fisher e a entropia relativa (ou divergência de KL) de maneira rigorosa e puramente matemática?

$$D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3)$$ onde $a=(a^1,\dots, a^n), da=(da^1,\dots,da^n)$ , $$g_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log p(x;a))~ p(x;a)~dx$$ e $g_{i,j} \, da^i \, da^j := \sum_{i,j}g_{i,j} \, da^i \, da^j$ é a convenção de somatório de Einstein.

Eu encontrei o exposto no bom blog de John Baez, onde Vasileios Anagnostopoulos diz sobre isso nos comentários.

Em 1946, o geofísico e estatístico bayesiano Harold Jeffreys introduziu o que hoje chamamos de divergência Kullback-Leibler e descobriu que, para duas distribuições que são "infinitamente próximas" (esperemos que os caras do Math SE não vejam isso ;-), podemos escrever sua divergência Kullback-Leibler como uma forma quadrática cujos coeficientes são dados pelos elementos da matriz de informações de Fisher. Ele interpretou essa forma quadrática como o elemento de comprimento de uma variedade riemanniana, com as informações de Fisher desempenhando o papel da métrica riemanniana. A partir dessa geometrização do modelo estatístico, ele derivou o prior de Jeffreys como a medida induzida naturalmente pela métrica Riemanniana, e essa medida pode ser interpretada como uma distribuição intrinsecamente uniforme no coletor, embora, em geral, não seja uma medida finita.

Para escrever uma prova rigorosa, você precisará identificar todas as condições de regularidade e cuidar da ordem dos termos de erro nas expansões de Taylor. Aqui está um breve esboço do argumento.

A divergência simétrica de Kullback-Leibler entre duas densidades e é definida como$f$$g$

$$D[f,g] = \int (f(x) - g(x)) \log\left(\frac{f(x)}{g(x)} \right) dx \, .$$

Se tivermos uma família de densidades parametrizada por ,$\theta=(\theta_1,\dots,\theta_k)$

$$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] = \int ( p(x,\mid\theta) - p(x\mid\theta + \Delta\theta)) \log\left( \frac{p(x\mid\theta)}{p(x\mid\theta + \Delta\theta)}\right) \,dx \, ,$$ Δ θ = ( Δ θ 1 , … , Δ θ k ) Δ p ( x ∣ θ ) = p ( x ∣ θ ) - p ( x ∣ θ + Δ θ ) em que . Introduzindo a notação alguma álgebra simples fornece Usando a expansão de Taylor para o logaritmo natural, temos $\Delta\theta=(\Delta\theta_1,\dots,\Delta\theta_k)$ $$\Delta p(x\mid\theta) = p(x\mid\theta) - p(x\mid\theta + \Delta\theta) \, ,$$ $$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] = \int\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)p(x\mid\theta)\,dx \, .$$ $$\log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right) \approx \frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \, ,$$ portanto, Mas Portanto, em que $$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] \approx \int\left(\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)^2p(x\mid\theta)\,dx \, .$$ $$\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \approx \frac{1}{p(x\mid\theta)} \sum_{i=1}^k \frac{\partial p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i = \sum_{i=1}^k \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i \, .$$ $$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] \approx \sum_{i,j=1}^k g_{ij} \,\Delta\theta_i \, \Delta\theta_j \, ,$$ $$g_{ij} = \int \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \frac{\partial \log p(x\mid\theta)}{\partial\theta_j} p(x\mid\theta) \,dx \, .$$

Este é o artigo original:

Jeffreys, H. (1946). Uma forma invariável para a probabilidade anterior em problemas de estimativa. Proc. Royal Soc. of London, Série A, 186, 453-461.

Prova de divergência KL usual (não simétrica)

A resposta do Zen usa a divergência simétrica de KL, mas o resultado também se aplica à forma usual, pois se torna simétrico para distribuições infinitesimalmente próximas.

Aqui está uma prova de distribuições discretas parametrizadas por um escalar (porque sou preguiçoso), mas pode ser reescrita facilmente para distribuições contínuas ou um vetor de parâmetros:$\theta$

$$\begin{equation} D(p_\theta,p_{\theta+d\theta})=\sum p_\theta \log p_\theta - \sum p_\theta \log p_{\theta+d\theta}\ . \end{equation}$$ Taylor-expandindo o último termo: Supondo algumas regularidades, usei os dois resultados: $$\begin{equation} = \underbrace{\sum p_\theta \log p_\theta - \sum p_\theta \log p_\theta}_{=\ 0} - d\theta \underbrace{\sum p_\theta \frac{d}{d\theta}\log p_\theta}_{=\ 0 \ \dagger} - \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta}_{= -\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2 \ \ddagger} + \mathcal{O}({d\theta}^3) \\ = \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2}_{\textrm{Fisher information}} + \mathcal{O}({d\theta}^3). \end{equation}$$ $$\begin{equation} \dagger: \sum p_\theta \frac{d}{d\theta}\log p_\theta = \sum \frac{d}{d\theta} p_\theta = \frac{d}{d\theta} \sum p_\theta =0, \end{equation}$$

$$\begin{align} \ddagger: \sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta &= \sum p_\theta \frac{d}{d\theta}(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta}) \\ &= \sum p_\theta \left[\frac{1}{p_\theta}\frac{d^2p_\theta}{d\theta}-(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta})^2\right] \\ &= \sum \frac{d^2p_\theta}{d\theta^2} - \sum p_\theta (\frac{1}{p_\theta} \frac{dp_\theta}{d\theta})^2 \\ &= \underbrace{\frac{d^2}{d\theta^2} \sum p_\theta}_{=\ 0} - \sum {p_\theta} (\frac{d}{d\theta}\log p_\theta)^2. \end{align}$$

Você pode encontrar uma relação semelhante (para um parâmetro unidimensional) na equação (3) do artigo a seguir

D. Guo (2009), Entropia relativa e função de pontuação: novas informações - relações de estimativa por meio de perturbação aditiva arbitrária , em Proc. Simpósio Internacional IEEE sobre Teoria da Informação , 814–818. ( link estável ).

Os autores referem-se a

S. Kullback, Teoria da Informação e Estatística . Nova York: Dover, 1968.

para uma prova desse resultado.