É possível aplicar divergência KL entre distribuição discreta e contínua?

Eu não sou um matemático. Eu pesquisei na Internet sobre KL Divergence. O que aprendi é que a divergência KL mede as informações perdidas quando aproximamos a distribuição de um modelo em relação à distribuição de entrada. Eu já vi isso entre duas distribuições contínuas ou discretas. Podemos fazê-lo entre contínuo e discreto ou vice-versa?

Não: a divergência de KL é definida apenas em distribuições em um espaço comum. Ele pergunta sobre a densidade de probabilidade de um ponto sob duas distribuições diferentes, p ( x ) e q ( x ) . Se P é uma distribuição de R 3 e q uma distribuição em Z , então q ( x ) não faz sentido para pontos p ∈ R 3 e P ( z ) não faz sentido para pontos z ∈ $x$$p(x)$$q(x)$$p$$\mathbb{R}^3$$q$$\mathbb{Z}$$q(x)$$p \in \mathbb{R}^3$$p(z)$$z \in \mathbb{Z}$. De fato, não podemos fazer isso para duas distribuições contínuas em espaços de diferentes dimensões (ou discretas, ou em qualquer caso em que os espaços de probabilidade subjacentes não correspondam).

Se você tem um caso particular em mente, pode ser possível criar uma medida similar de dissimilaridade entre distribuições. Por exemplo, pode fazer sentido codificar uma distribuição contínua sob um código para uma distribuição discreta (obviamente com informações perdidas), por exemplo, arredondando para o ponto mais próximo no caso discreto.

$P$$Q$$\mathbb{X}$$P$$Q$$f$$g$$\mu = P+Q$

$\mathbb{X} = [0,1]$$P$$Q = \delta_0$$0$$f(x) = 1-\mathbb{1}_{x=0}$$g(x) = \mathbb{1}_{x=0}$

Não em geral. A divergência KL é

$P$$Q$$P$$Q$$\sigma$$\frac{dP}{dQ}$

$\sigma$