Distribuição de probabilidade especial

Se $p(x)$ é uma distribuição de probabilidade com valores diferentes de zero em $[0,+\infty)$ , para que tipo (s) de $p(x)$ existe uma constante $c\gt 0$ tal que $\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2$para todos os$0\lt\epsilon\lt 1$?

A desigualdade acima é na verdade uma divergência de Kullback-Leibler entre a distribuição $p(x)$ e uma versão compactada dela ${(1+\epsilon)}p({x}{(1+\epsilon)})$ . Descobri que essa desigualdade vale para as distribuições Exponential, Gamma e Weibull e estou interessado em saber se isso funciona para uma classe maior de distribuições de probabilidade.

Alguma idéia do que essa desigualdade significa?

Preliminares

Escrever

$$\mathcal{I}_p(\epsilon) = \int_0^\infty p(x) \log\left(\frac{p(x)}{(1+\epsilon)p(x(1+\epsilon))}\right)\, dx.$$

Os logaritmos e o relacionamento entre os e p ( x ( 1 + ε ) ) sugerem que expressa ambos p e o seu argumento como exponenciais. Para esse fim, defina$p(x)$$p(x(1+\epsilon))$$p$

$$q(y) = \log(p(e^y))$$

para todo real para o qual o lado direito é definido e igual a - ∞ sempre que p ( e y ) = 0 . Observe que a mudança das variáveis x = e y implica d x = e y d y e (considerando p como a densidade de uma distribuição) que a Lei da Probabilidade Total pode, assim, ser expressa como$y$$-\infty$$p(e^y)=0$$x=e^y$$dx=e^y dy$$p$

$$1 = \int_0^\infty p(x)dx = \int_\mathbb{R} e^{q(y)+y} dy.\tag{1}$$

Vamos assumir quando y → ± ∞ . $e^{q(y)+y}\to 0$$y\to\pm\infty$ Isso exclui as distribuições de probabilidade com infinitos picos de densidade próximos a 0 ou ∞ . Em particular, se as caudas de p forem eventualmente monotônicas, ( 1 ) implica essa suposição, mostrando que não é grave.$p$$0$$\infty$$p$$(1)$

Para facilitar o trabalho com os logaritmos, observe também que

$$1+\epsilon = e^\epsilon + O(\epsilon^2).$$

Como os cálculos a seguir serão executados até múltiplos de , defina$\epsilon^2$

$$\delta = \log(1+\epsilon).$$

Poderíamos também substituir por e δ , com δ = 0 correspondendo a ϵ = 0 e positivo δ correspondendo a positivo ϵ .$1+\epsilon$$e^\delta$$\delta=0$$\epsilon=0$$\delta$$\epsilon$

Análise

Uma maneira óbvia em que a desigualdade pode falhar seria para a integral a divergir por algum ε ∈ ( 0 , 1 ] . Isso aconteceria se, por exemplo, houvesse qualquer intervalo adequado [ u , v ] de números positivos, não importa quão pequeno, em que p fosse identicamente zero, mas p não fosse zero no intervalo [ u - ϵ , v - ϵ $\mathcal{I}_p(\epsilon)$$\epsilon \in (0, 1]$$[u, v]$$p$$p$$[u-\epsilon, v-\epsilon]$. Isso faria com que o integrando fosse infinito com probabilidade positiva.

Because the question is unspecific concerning the nature of $p$, we could get bogged down in technical issues concerning how smooth $p$ might be. Let's avoid such issues, still hoping to gain some insight, by assuming that $q$ everywhere has as many derivatives as we might care to use. (Two will suffice if $q^{\prime\prime}$ is continuous.) Because that guarantees $q$ remains bounded on any bounded set, it implies that $p(x)$ is never zero when $x \gt 0$.

Note que a questão realmente diz respeito ao comportamento de quando ϵ se aproxima de zero de cima. Como essa integral é uma função contínua de ϵ no intervalo ( 0 , 1 ] , ela atinge um máximo de M p ( a ) quando ϵ é restrito a qualquer intervalo positivo [ a , 1 ] , permitindo escolher c = M p ( a ) / a 2 , porque obviamente$\mathcal{I}_p(\epsilon)$$\epsilon$$\epsilon$$(0,1]$$M_p(a)$$\epsilon$$[a,1]$$c = M_p(a)/a^2$

$$c\epsilon^2 = M_p(a) \left(\frac{\epsilon}{a}\right)^2 \ge M_p(a) \ge \mathcal{I}_p(\epsilon)$$

makes the inequality work. This is why we need only be concerned with the calculation modulo $\epsilon^2$.

Solution

Using the changes of variable from $x$ to $y$, from $p$ to $q$, and $\epsilon$ to $\delta$, let's calculate $\mathcal{I}_p(\epsilon)$ through second order in $\epsilon$ (or $\delta$) in the hope of achieving a simplification. To that end define

$$\mathcal{R}(y, \delta) \delta^2 = q(y+\delta) - q(y) - \delta q^\prime(y)$$

to be the order-$2$ remainder in the Taylor expansion of $q$ around $y$.

$$\eqalign{ \mathcal{I}_p(\epsilon) &= \int_\mathbb{R}e^{q(y) + y} \left(q(y) - q(y+\delta) - \delta\right)\, dy \\ &=-\int_\mathbb{R}e^{q(y) + y} \left(\delta + \delta q^\prime(y) + \mathcal{R}(y, \delta) \delta^2 \right)\, dy \\ &= -\delta\int_\mathbb{R}e^{q(y) + y} \left(1+q^\prime(y)\right)\, dy -\delta^2\int_\mathbb{R}e^{q(y) + y} \mathcal{R}(y, \delta)\, dy. }$$

Changing variables to $q(y)+y$ in the left hand integral shows it must vanish, as remarked in the assumption following $(1)$. Changing variables back to $x=e^y$ in the right hand integral gives

$$\mathcal{I}_p(\epsilon) = - \delta^2 \int_\mathbb{R} p(x) \mathcal{R}(\log(x), \delta)\, dy = -\delta^2 \mathbb{E}_p\left(\mathcal{R}(\log(x), \delta)\right).$$

The inequality holds (under our various technical assumptions) if and only if the coefficient of $\delta^2$ on the right hand side is finite.

Interpretation

This is a good point to stop, because it appears to uncover the essential issue: $\mathcal{I}_p(\epsilon)$ is bounded by a quadratic function of $\epsilon$ precisely when the quadratic error in the Taylor expansion of $q$ doesn't explode (relative to the distribution) as $y$ approaches $\pm\infty$.

Let's check some of the cases mentioned in the question: the Exponential and Gamma distributions. (The Exponential is a special case of the Gamma.) We never have to worry about scale parameters, because they merely change the units of measurement. Only non-scale parameters matter.

Here, because $p(x) = x^k e^{-x}$ for $k \gt -1$,

$$q(y) = -e^y + k y - \log\Gamma(k+1).$$ The Taylor expansion around an arbitrary $y$ is $$\text{Constant} + (k-e^y)\delta - \frac{e^y}{2}\delta^2 + \cdots.$$ Taylor's Theorem with Remainder implies $\mathcal{R}(\log(x),\delta)$ is dominated by $e^{y+\delta}/2 \lt x$ for sufficiently small $\delta$. Since the expectation of $x$ is finite, the inequality holds for Gamma distributions.

Similar calculations imply the inequality for Weibull distributions, Half-Normal distributions, Lognormal distributions, etc. In fact, to obtain counterexamples we would need to violate at least one assumption, forcing us to look at distributions where $p$ vanishes on some interval, or is not continuously twice differentiable, or has infinitely many modes. These are easy tests to apply to any family of distributions commonly used in statistical modeling.