A relação entre a distribuição gama e a distribuição normal

Recentemente, achei necessário derivar um pdf para o quadrado de uma variável aleatória normal com média 0. Por qualquer motivo, optei por não normalizar a variação anteriormente. Se eu fiz isso corretamente, este pdf é o seguinte:

$$N^2(x; \sigma^2) = \frac{1}{\sigma \sqrt{2 \pi} \sqrt{x}} e^{\frac{-x}{2\sigma^2}}$$

Percebi que isso era de fato apenas uma parametrização de uma distribuição gama:

$$N^2(x; \sigma^2) = \operatorname{Gamma}(x; \frac{1}{2}, 2 \sigma^2)$$

E então, pelo fato de a soma de duas gama (com o mesmo parâmetro de escala) ser igual a outra gama, segue-se que a gama é equivalente à soma das variáveis ​​aleatórias normais $k$ ao quadrado.

$$N^2_\Sigma(x; k, \sigma^2) = \operatorname{Gamma}(x; \frac{k}{2}, 2 \sigma^2)$$

Isso foi um pouco surpreendente para mim. Embora eu soubesse que a distribuição do $\chi^2$ - uma distribuição da soma dos RV normais normais ao quadrado - era um caso especial da gama, eu não sabia que a gama era essencialmente apenas uma generalização que permitia a soma de variáveis ​​aleatórias normais de qualquer variação. Isso também leva a outras caracterizações que eu nunca havia encontrado antes, como a distribuição exponencial equivalente à soma de duas distribuições normais ao quadrado.

Tudo isso é um tanto misterioso para mim. A distribuição normal é fundamental para a derivação da distribuição gama, da maneira descrita acima? A maioria dos recursos que verifiquei não menciona que as duas distribuições estão intrinsecamente relacionadas dessa maneira, ou mesmo descrevem como a gama é derivada. Isso me faz pensar que alguma verdade de nível inferior está em jogo que eu simplesmente destaquei de uma maneira complicada?

Como observou o comentário do Prof. Sarwate, as relações entre o quadrado normal e o qui-quadrado são um fato amplamente disseminado - como também deve ser o fato de que um qui-quadrado é apenas um caso especial da distribuição Gamma:

$$X \sim N(0,\sigma^2) \Rightarrow X^2/\sigma^2 \sim \mathcal \chi^2_1 \Rightarrow X^2 \sim \sigma^2\mathcal \chi^2_1= \text{Gamma}\left(\frac 12, 2\sigma^2\right)$$

a última igualdade após a propriedade de escala do Gamma.

No que diz respeito à relação com o exponencial, para ser preciso, é a soma de dois normais médios zero quadráticos, cada um escalado pela variação do outro , que leva à distribuição exponencial:

$$X_1 \sim N(0,\sigma^2_1),\;\; X_2 \sim N(0,\sigma^2_2) \Rightarrow \frac{X_1^2}{\sigma^2_1}+\frac{X_2^2}{\sigma^2_2} \sim \mathcal \chi^2_2 \Rightarrow \frac{\sigma^2_2X_1^2+ \sigma^2_1X_2^2}{\sigma^2_1\sigma^2_2} \sim \mathcal \chi^2_2$$

$$\Rightarrow \sigma^2_2X_1^2+ \sigma^2_1X_2^2 \sim \sigma^2_1\sigma^2_2\mathcal \chi^2_2 = \text{Gamma}\left(1, 2\sigma^2_1\sigma^2_2\right) = \text{Exp}( {1\over {2\sigma^2_1\sigma^2_2}})$$

Mas a suspeita de que existe "algo especial" ou "mais profundo" na soma de dois valores médios médios de zero ao quadrado que "os tornam um bom modelo para o tempo de espera" é infundada: Antes de tudo, o que há de especial na distribuição exponencial que faz é um bom modelo para "tempo de espera"? Sem memória, é claro, mas há algo "mais profundo" aqui, ou apenas a forma funcional simples da função de distribuição Exponencial e as propriedades de ? Propriedades únicas estão espalhadas por toda a Matemática e, na maioria das vezes, elas não refletem alguma "intuição mais profunda" ou "estrutura" - elas simplesmente existem (felizmente).$e$

Segundo, o quadrado de uma variável tem muito pouca relação com seu nível. Apenas considere em, digamos, [ - 2 $f(x) = x$ :$[-2,\,2]$

... ou representa graficamente a densidade normal padrão em relação à densidade do qui-quadrado: eles refletem e representam comportamentos estocásticos totalmente diferentes, mesmo estando intimamente relacionados, pois o segundo é a densidade de uma variável que é o quadrado do primeiro. O normal pode ser um pilar muito importante do sistema matemático que desenvolvemos para modelar o comportamento estocástico - mas, quando você o ajusta, torna-se algo totalmente diferente.

Vamos abordar a questão colocada, tudo isso é um tanto misterioso para mim. A distribuição normal é fundamental para a derivação da distribuição gama ...? Na verdade, nenhum mistério é simplesmente que a distribuição normal e a distribuição gama são membros, entre outros da família exponencial de distribuições, cuja família é definida pela capacidade de converter entre formas equacionais por substituição de parâmetros e / ou variáveis. Como conseqüência, há muitas conversões por substituição entre distribuições, algumas das quais estão resumidas na figura abaixo.

LEEMIS, Lawrence M .; Jacquelyn T. MCQUESTON (fevereiro de 2008). "Relacionamentos de distribuição univariados" (PDF). Estatístico americano. 62 (1): 45-53. doi: 10.1198 / 000313008x270448 citar

Aqui estão duas relações de distribuição normal e gama com mais detalhes (entre um número desconhecido de outras, como via qui-quadrado e beta).

Primeiro Segue-se uma relação mais direta entre a distribuição gama (GD) e a distribuição normal (ND) com zero médio. Simplificando, o GD se torna normal na forma, pois seu parâmetro de forma pode aumentar. Provar que é esse o caso é mais difícil. Para o GD,

$$\text{GD}(z;a,b)=\begin{array}{cc} & \begin{cases} \dfrac{b^{-a} z^{a-1} e^{-\dfrac{z}{b}}}{\Gamma (a)} & z>0 \\ 0 & \text{other} \\ \end{cases} \,. \\ \end{array}$$

$a\rightarrow \infty$$a$$(a-1) \sqrt{\dfrac{1}{a}} k$$b$$\sqrt{\dfrac{1}{a}}$

$k$$b=\sqrt{\dfrac{1}{a}} k$$z=(a-1) \sqrt{\dfrac{1}{a}} k+x\ .$

$$\text{GD}\left((a-1) \sqrt{\frac{1}{a}} k+x;\ a,\ \sqrt{\frac{1}{a}} k\right)=\begin{array}{cc} & \begin{cases} \dfrac{\left(\dfrac{k}{\sqrt{a}}\right)^{-a} e^{-\dfrac{\sqrt{a} x}{k}-a+1} \left(\dfrac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)} & x>\dfrac{k(1-a)}{\sqrt{a}} \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,.$$

$a\rightarrow\infty$$x$$\rightarrow -\infty$$a\rightarrow \infty$

$$\lim_{a\to \infty } \, \frac{\left(\frac{k}{\sqrt{a}}\right)^{-a} e^{-\frac{\sqrt{a} x}{k}-a+1} \left(\frac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)}=\dfrac{e^{-\dfrac{x^2}{2 k^2}}}{\sqrt{2 \pi } k}=\text{ND}\left(x;0,k^2\right)$$

Graphically for $k=2$ and $a=1,2,4,8,16,32,64$ the GD is in blue and the limiting $\text{ND}\left(x;0,\ 2^2\right)$ is in orange, below

Second Let us make the point that due to the similarity of form between these distributions, one can pretty much develop relationships between the gamma and normal distributions by pulling them out of thin air. To wit, we next develop an "unfolded" gamma distribution generalization of a normal distribution.

Note first that it is the semi-infinite support of the gamma distribution that impedes a more direct relationship with the normal distribution. However, that impediment can be removed when considering the half-normal distribution, which also has a semi-infinite support. Thus, one can generalize the normal distribution (ND) by first folding it to be half-normal (HND), relating that to the generalized gamma distribution (GD), then for our tour de force, we "unfold" both (HND and GD) to make a generalized ND (a GND), thusly.

The generalized gamma distribution

$$\text{GD}\left(x;\alpha ,\beta ,\gamma ,\mu \right)=\begin{array}{cc} & \begin{cases} \dfrac{\gamma e^{-\left(\dfrac{x-\mu }{\beta }\right)^{\gamma }} \left(\dfrac{x-\mu }{\beta }\right)^{\alpha \gamma -1}}{\beta \,\Gamma (\alpha )} & x>\mu \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,,$$

Can be reparameterized to be the half-normal distribution,

$$\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)=\begin{array}{cc} & \begin{cases} \dfrac{2 \theta e^{-\dfrac{\theta ^2 x^2}{\pi }}}{\pi } & x>0 \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,\,\,=\text{HND}(x;\theta)$$

Note that $\theta=\frac{\sqrt{\pi}}{\sigma\sqrt{2}}.$ Thus,

$$\text{ND}\left(x;0,\sigma^2\right)=\frac{1}{2}\text{HND}(x;\theta)+\frac{1}{2}\text{HND}(-x;\theta)=\frac{1}{2}\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)\,,$$

which implies that

$$\begin{align} \text{GND}(x;\mu,\alpha,\beta) &= \frac{1}{2}\text{GD}\left(x;\frac{1}{\beta},\alpha,\beta,\mu \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{\beta},\alpha,\beta,\mu \right)\\ &= \frac{\beta e^{-\left(\dfrac{\left|x-\mu\right|}{\alpha }\right)^{\mathrm{\Large{\beta}}}}}{2 \alpha \Gamma \left(\dfrac{1}{\beta }\right)}\\ \end{align} \,,$$

is a generalization of the normal distribution, where $\mu$ is the location, $\alpha>0$ is the scale, and $\beta>0$ is the shape and where $\beta=2$ yields a normal distribution. It includes the Laplace distribution when $\beta=1$. As $\beta\rightarrow\infty$, the density converges pointwise to a uniform density on $(\mu-\alpha,\mu+\alpha)$. Below is the generalized normal distribution plotted for $\alpha =\frac{\sqrt{\pi} }{2}\,,\beta=1/2,1,4$ in blue with the normal case $\alpha =\frac{\sqrt{\pi} }{2},\,\beta=2$ in orange.

The above can be seen as the generalized normal distribution Version 1 and in different parameterizations is known as the exponential power distribution, and the generalized error distribution, which are in turn one of several other generalized normal distributions.

The derivation of the chi-squared distribution from the normal distribution is much analogous to the derivation of the gamma distribution from the exponential distribution.

We should be able to generalize this:

• If the $X_i$ are independent variables from a generalized normal distribution with power coefficient $m$ then $Y = \sum_{i}^n {X_i}^m$ can be related to some scaled Chi-squared distribution (with "degrees of freedom" equal to $n/m$).

---

The analogy is as following:

Normal and Chi-squared distributions relate to the sum of squares

• The joint density distribution of multiple independent standard normal distributed variables depends on $\sum x_i^2$
  $f(x_1, x_2, ... ,x_n) = \frac{\exp \left( {-0.5\sum_{i=1}^{n}{x_i}^2}\right)}{(2\pi)^{n/2}}$

• If $X_i \sim N(0,1)$

  then $\sum_{i=1}^n {X_i}^2 \sim \chi^2(\nu)$

Exponential and gamma distributions relate to the regular sum

• The joint density distribution of multiple independent exponential distributed variables depends on $\sum x_i$

  $f(x_1, x_2, ... ,x_n) = \frac{\exp \left( -\lambda\sum_{i=1}^{n}{x_i} \right)}{\lambda^{-n}}$

• If $X_i \sim Exp(\lambda)$

  then $\sum_{i=1}^n X_i \sim \text{Gamma}(n,\lambda)$

---

The derivation can be done by a change of variables integrating not over all $x_1,x_2,...x_n$ but instead only over the summed term (this is what Pearson did in 1900). This unfolds very similar in both cases.

For the $\chi^2$ distribution:

$$\begin{array}{rcl} f_{\chi^2(n)}(s) ds &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{dV}{ds} ds\\ &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{\pi^{n/2}}{\Gamma(n/2)}s^{n/2-1} ds \\ &=& \frac{1}{2^{n/2}\Gamma(n/2)}s^{n/2-1}e^{-s/2} ds \\ \end{array}$$

Where $V(s) = \frac{\pi^{n/2}}{\Gamma (n/2+1)}s^{n/2}$ is the n-dimensional volume of an n-ball with squared radius $s$.

For the gamma distribution:

$$\begin{array}{rcl} f_{G(n,\lambda)}(s) ds &=& \frac{e^{-\lambda s}}{\lambda^{-n}} \frac{dV}{ds} ds\\ &=& \frac{e^{-\lambda s}}{\lambda^{-n}} n \frac{s^{n-1}}{n!}ds \\ &=& \frac{\lambda^{n}}{ \Gamma(n)} s^{n-1} e^{-\lambda s} ds \\ \end{array}$$

Where $V(s) = \frac{s^n}{n!}$ is the n-dimensional volume of a n-polytope with $\sum x_i < s$.

---

The gamma distribution can be seen as the waiting time $Y$ for the $n$-th event in a Poisson process which is the distributed as the sum of $n$ exponentially distributed variables.

As Alecos Papadopoulos already noted there is no deeper connection that makes sums of squared normal variables 'a good model for waiting time'. The gamma distribution is the distribution for a sum of generalized normal distributed variables. That is how the two come together.

But the type of sum and type of variables may be different. While the gamma distribution, when derived from the exponential distribution (p=1), gets the interpretation of the exponential distribution (waiting time), you can not go reverse and go back to a sum of squared Gaussian variables and use that same interpretation.

The density distribution for waiting time which falls of exponentially, and the density distribution for a Gaussian error falls of exponentially (with a square). That is another way to see the two connected.