Interpretação do derivado de Radon-Nikodym entre medidas de probabilidade?

Já vi em alguns momentos o uso da derivada Radon-Nikodym de uma medida de probabilidade em relação a outra, principalmente na divergência de Kullback-Leibler, onde é a derivada da medida de probabilidade de um modelo para algum parâmetro arbitrário em relação ao parâmetro real :$\theta$$\theta_0$

$$\frac {dP_\theta}{dP_{\theta_0}}$$

Onde ambas são medidas de probabilidade no espaço de pontos de dados condicionais em um valor de parâmetro: .$P_\theta(D)=P(D|\theta)$

Qual é a interpretação de um derivado de Radon-Nikodym na divergência de Kullback-Leibler, ou mais geralmente entre duas medidas de probabilidade?

Primeiro, não precisamos de medidas de probabilidade, apenas -finiteness. Então deixou ser um espaço mensurável e deixar e ser -finite medidas em .$\sigma$$\mathcal M = (\Omega, \mathscr F)$$\mu$$\nu$$\sigma$$\mathcal M$

O teorema de Radon-Nikodym afirma que se para todo , denotado por , existe um Borel não negativo função tal que para todos .$\mu(A) = 0 \implies \nu(A) = 0$$A \in \mathscr F$$\mu \gg \nu$$f$

$$\nu(A) = \int_A f \,\text d\mu$$ $A \in \mathscr F$

Aqui está como eu gosto de pensar nisso. Primeiro, para quaisquer duas medidas em , vamos definir como . Esta é uma relação de equivalência válida e dizemos que e são equivalentes neste caso. Por que isso é uma equivalência sensata para medidas? Medidas são apenas funções, mas seus domínios são difíceis de visualizar. E se duas funções comuns tiverem essa propriedade, ou seja, ? Bem, defina e observe que em qualquer lugar com o apoio de$\mathcal M$$\mu \sim \nu$$\mu(A) = 0 \iff \nu(A) = 0$$\mu$$\nu$$f, g :\mathbb R \to \mathbb R$$f(x) = 0 \iff g(x) = 0$

$$h(x) = \begin{cases} f(x) / g(x) & g(x) \neq 0 \\ \pi^e & \text{o.w.}\end{cases}$$ $g$ temos , e fora do suporte de (já que e compartilham suporte), então permite redimensionar em . Como o @whuber aponta, a idéia principal aqui não é que seja de alguma forma "seguro" para fazer ou ignorar, mas quando então não importa o que faça, podemos defini-lo arbitrariamente (como ser que não tem significado especial aqui) e as coisas ainda funcionam. Também neste caso, podemos definir a função análoga com para que$gh = f$$g$ $gh = 0 \cdot \pi^e = 0 = f$$f$$g$$h$$g$$f$$0/0$$g = 0$$h$$\pi^e$$h'$$g / f$$fh' = g$ .

Em seguida, suponha que , mas a outra direção não se mantém necessariamente. Isso significa que nossa definição anterior de ainda funciona, mas agora não funciona, pois terá divisões reais por . Assim, podemos redimensionar em via , mas não podemos ir na outra direção, pois precisaríamos redimensionar algo em algo diferente de zero.$g(x) = 0 \implies f(x) = 0$$h$$h'$$0$$g$$f$$gh = f$$0$

Agora vamos voltar para e e denotar nosso RND por . Se , isso significa intuitivamente que um pode ser redimensionado para o outro e vice-versa. Mas geralmente queremos apenas ir uma direção com isso (ou seja, redimensionar uma boa medida, como a medida de Lebesgue, em uma medida mais abstrata); portanto, precisamos apenas de para fazer coisas úteis. Esse redimensionamento é o coração do RND.$\mu$$\nu$$f$$\mu \sim \nu$$\mu \gg \nu$

Retornando ao ponto do @ whuber nos comentários, há uma sutileza extra do motivo pelo qual é seguro ignorar o problema . Isso ocorre porque, com as medidas, estamos apenas definindo as coisas para conjuntos de medidas portanto, em qualquer conjunto com , podemos fazer nosso RND assumir qualquer valor, digamos . Portanto, não é que seja intrinsecamente seguro, mas em qualquer lugar que teríamos é um conjunto de medidas wrt para que possamos definir nosso RND como algo bom lá sem afetar nada.$0/0$$0$$A$$\mu(A) = 0$$1$$0/0$$0/0$$0$$\mu$

Como exemplo, suponha para alguns . Então então temos que é o RND (isso pode ser justificado mais formalmente pelo teorema da mudança de medidas). Isso é bom porque recuperamos exatamente o fator de escala.$k \cdot \mu = \nu$$k > 0$

$$\nu(A) = \int_A \,\text d\nu = \int_A k \,\text d \mu$$ $f(x) = k = \frac{\text d\nu}{\text d\mu}$

Aqui está um segundo exemplo para enfatizar como a alteração de RNDs em conjuntos de medidas não os afeta. Seja , ou seja, é o PDF normal padrão mais se a entrada for racional e seja um RV com essa densidade. Isso significa modo que, na verdade, o ainda é um RV gaussiano padrão. Ele não afetou a distribuição de forma alguma para alterar em porque é um conjunto de medidas wrt$0$$f(x) = \varphi(x) + 1_{\mathbb Q}(x)$$1$$X$

$$P(X \in A) = \int_A \left(\varphi + 1_{\mathbb Q}\right) \,\text d\lambda$$ $$= \int_A \varphi \,\text d\lambda + \lambda\left(\mathbb Q \right) =\int_A \varphi \,\text d\lambda$$ $X$$X$$\mathbb Q$$0$$\lambda$ .

Como exemplo final, suponha que e e permita que e sejam suas respectivas distribuições. Lembre-se de que pmf é um RND com relação à medida de contagem , e como tem a propriedade de que , verifica-se que $X \sim \text{Pois}(\eta)$$Y \sim \text{Bin}(n, p)$$P_X$$P_Y$$c$$c$$c(A) = 0 \iff A = \emptyset$

$$\frac{\text dP_Y}{\text dP_X} = \frac{\text dP_Y / \text dc}{\text dP_X / \text dc} = \frac{f_Y}{f_X}$$

para que possamos calcular

$$P_Y(A) = \int_A \,\text dP_Y$$ $$= \int_A \frac{\text dP_Y}{\text dP_X}\,\text dP_X = \int_A \frac{\text dP_Y}{\text dP_X}\frac{\text dP_X}{\text dc}\,\text dc$$ $$= \sum_{y \in A} \frac{\text dP_Y}{\text dP_X}(y)\frac{\text dP_X}{\text dc}(y) = \sum_{y \in A} \frac{f_Y(y)}{f_X(y)}f_X(y) = \sum_{y \in A} f_Y(y).$$

Assim, como para todos os no suporte de , podemos redimensionar a integração em relação a uma distribuição de Poisson em integração em relação a uma distribuição binomial, embora, porque tudo seja discreto, pareça uma trivial resultado.$P(X = n) > 0$$n$$Y$

---

Fiz sua pergunta mais geral, mas não toquei nas divergências de KL. Para mim, pelo menos, acho a divergência KL muito mais fácil de interpretar em termos de teste de hipóteses, como a resposta de @kjetil b halvorsen aqui . Se e existir uma medida que domine os dois, use podemos recuperar o formulário com densidades, então para mim eu acho isso mais fácil.$P \ll Q$$\mu$$\frac{\text dP}{\text dQ} = \frac{\text dP / \text d\mu}{\text dQ / \text d\mu} := p / q$