A relação entre a distribuição gama e a distribuição normal

26

Recentemente, achei necessário derivar um pdf para o quadrado de uma variável aleatória normal com média 0. Por qualquer motivo, optei por não normalizar a variação anteriormente. Se eu fiz isso corretamente, este pdf é o seguinte:

N2(x;σ2)=1 1σ2πxe-x2σ2

Percebi que isso era de fato apenas uma parametrização de uma distribuição gama:

N2(x;σ2)=Gamma(x;12,2σ2)

E então, pelo fato de a soma de duas gama (com o mesmo parâmetro de escala) ser igual a outra gama, segue-se que a gama é equivalente à soma das variáveis ​​aleatórias normais k ao quadrado.

NΣ2(x;k,σ2)=Gama(x;k2,2σ2)

Isso foi um pouco surpreendente para mim. Embora eu soubesse que a distribuição do χ2 - uma distribuição da soma dos RV normais normais ao quadrado - era um caso especial da gama, eu não sabia que a gama era essencialmente apenas uma generalização que permitia a soma de variáveis ​​aleatórias normais de qualquer variação. Isso também leva a outras caracterizações que eu nunca havia encontrado antes, como a distribuição exponencial equivalente à soma de duas distribuições normais ao quadrado.

Tudo isso é um tanto misterioso para mim. A distribuição normal é fundamental para a derivação da distribuição gama, da maneira descrita acima? A maioria dos recursos que verifiquei não menciona que as duas distribuições estão intrinsecamente relacionadas dessa maneira, ou mesmo descrevem como a gama é derivada. Isso me faz pensar que alguma verdade de nível inferior está em jogo que eu simplesmente destaquei de uma maneira complicada?

timxyz
fonte
6
Muitos livros de graduação sobre teoria das probabilidades mencionam todos os resultados acima; mas talvez os textos estatísticos não cubram essas idéias? Em qualquer caso, uma variável aleatória Y i é apenas σ X i onde X iN(0 0,σ2)YEuσXEuXEu é um padrão variável aleatória normal, e de modo (para variáveis iid) é simplesmente um χ 2 em escalaEuYEu2=σ2EuXEu2 χ2A variável aleatória não surpreende aqueles que estudaram a teoria da probabilidade.
precisa saber é o seguinte
Eu sou da área de visão computacional, então normalmente não encontro a teoria da probabilidade. Nenhum dos meus livros (ou Wikipedia) menciona essa interpretação. Suponho que também esteja perguntando, o que há de especial na soma do quadrado de duas distribuições normais que o torna um bom modelo para o tempo de espera (isto é, a distribuição exponencial). Ainda parece que estou perdendo algo mais profundo.
timxyz
3
Como a Wikipedia define a distribuição qui-quadrado como uma soma dos normais ao quadrado em en.wikipedia.org/wiki/Chi-squared_distribution#Definition e menciona o qui-quadrado é um caso especial da Gamma (em en.wikipedia.org/wiki / Gamma_distribution # Others ), dificilmente se pode afirmar que esses relacionamentos não são bem conhecidos. A própria variação apenas estabelece a unidade de medida (um parâmetro de escala) em todos os casos e, portanto, não apresenta nenhuma complicação adicional.
whuber
3
Embora esses resultados sejam bem conhecidos no campo da probabilidade e das estatísticas, parabéns a você @timxyz por redescobri-los em sua própria análise.
Restabeleça Monica
A conexão não é misteriosa, é porque eles são membros da família exponencial de distribuições cuja propriedade saliente é que elas podem ser alcançadas mediante a substituição de variáveis ​​e / ou parâmetros. Veja a resposta mais longa abaixo com exemplos.
Carl

Respostas:

18

Como observou o comentário do Prof. Sarwate, as relações entre o quadrado normal e o qui-quadrado são um fato amplamente disseminado - como também deve ser o fato de que um qui-quadrado é apenas um caso especial da distribuição Gamma:

XN(0 0,σ2)X2/σ2χ1 12X2σ2χ1 12=Gama(1 12,2σ2)

a última igualdade após a propriedade de escala do Gamma.

No que diz respeito à relação com o exponencial, para ser preciso, é a soma de dois normais médios zero quadráticos, cada um escalado pela variação do outro , que leva à distribuição exponencial:

X1N(0,σ12),X2N(0,σ22)X12σ12+X22σ22χ22σ22X12+σ12X22σ12σ22χ22

σ22X12+σ12X22σ12σ22χ22=Gamma(1,2σ12σ22)=Exp(12σ12σ22)

Mas a suspeita de que existe "algo especial" ou "mais profundo" na soma de dois valores médios médios de zero ao quadrado que "os tornam um bom modelo para o tempo de espera" é infundada: Antes de tudo, o que há de especial na distribuição exponencial que faz é um bom modelo para "tempo de espera"? Sem memória, é claro, mas há algo "mais profundo" aqui, ou apenas a forma funcional simples da função de distribuição Exponencial e as propriedades de ? Propriedades únicas estão espalhadas por toda a Matemática e, na maioria das vezes, elas não refletem alguma "intuição mais profunda" ou "estrutura" - elas simplesmente existem (felizmente).e

Segundo, o quadrado de uma variável tem muito pouca relação com seu nível. Apenas considere em, digamos, [ - 2 ,f(x)=x :[2,2]

insira a descrição da imagem aqui

... ou representa graficamente a densidade normal padrão em relação à densidade do qui-quadrado: eles refletem e representam comportamentos estocásticos totalmente diferentes, mesmo estando intimamente relacionados, pois o segundo é a densidade de uma variável que é o quadrado do primeiro. O normal pode ser um pilar muito importante do sistema matemático que desenvolvemos para modelar o comportamento estocástico - mas, quando você o ajusta, torna-se algo totalmente diferente.

Alecos Papadopoulos
fonte
Obrigado por abordar em particular as perguntas do meu último parágrafo.
timxyz
2
De nada. Devo admitir que estou feliz por minha resposta ter chegado ao OP original 26 meses após a publicação da pergunta.
Alecos Papadopoulos
11

Vamos abordar a questão colocada, tudo isso é um tanto misterioso para mim. A distribuição normal é fundamental para a derivação da distribuição gama ...? Na verdade, nenhum mistério é simplesmente que a distribuição normal e a distribuição gama são membros, entre outros da família exponencial de distribuições, cuja família é definida pela capacidade de converter entre formas equacionais por substituição de parâmetros e / ou variáveis. Como conseqüência, há muitas conversões por substituição entre distribuições, algumas das quais estão resumidas na figura abaixo.

insira a descrição da imagem aquiLEEMIS, Lawrence M .; Jacquelyn T. MCQUESTON (fevereiro de 2008). "Relacionamentos de distribuição univariados" (PDF). Estatístico americano. 62 (1): 45-53. doi: 10.1198 / 000313008x270448 citar

Aqui estão duas relações de distribuição normal e gama com mais detalhes (entre um número desconhecido de outras, como via qui-quadrado e beta).

Primeiro Segue-se uma relação mais direta entre a distribuição gama (GD) e a distribuição normal (ND) com zero médio. Simplificando, o GD se torna normal na forma, pois seu parâmetro de forma pode aumentar. Provar que é esse o caso é mais difícil. Para o GD,

GD(z;a,b)={baza1ezbΓ(a)z>00other.

aa(a1)1akb1a

kb=1akz=(a1)1ak+x .

GD((a1)1ak+x; a, 1ak)={(ka)aeaxka+1((a1)ka+x)a1Γ(a)x>k(1a)a0other.

axa

lima(ka)aeaxka+1((a1)ka+x)a1Γ(a)=ex22k22πk=ND(x;0,k2)

Graphically for k=2 and a=1,2,4,8,16,32,64 the GD is in blue and the limiting ND(x;0, 22) is in orange, below

enter image description here

Second Let us make the point that due to the similarity of form between these distributions, one can pretty much develop relationships between the gamma and normal distributions by pulling them out of thin air. To wit, we next develop an "unfolded" gamma distribution generalization of a normal distribution.

Note first that it is the semi-infinite support of the gamma distribution that impedes a more direct relationship with the normal distribution. However, that impediment can be removed when considering the half-normal distribution, which also has a semi-infinite support. Thus, one can generalize the normal distribution (ND) by first folding it to be half-normal (HND), relating that to the generalized gamma distribution (GD), then for our tour de force, we "unfold" both (HND and GD) to make a generalized ND (a GND), thusly.

The generalized gamma distribution

GD(x;α,β,γ,μ)={γe(xμβ)γ(xμβ)αγ1βΓ(α)x>μ0other,

Can be reparameterized to be the half-normal distribution,

GD(x;12,πθ,2,0)={2θeθ2x2ππx>00other=HND(x;θ)

Note that θ=πσ2. Thus,

ND(x;0,σ2)=12HND(x;θ)+12HND(x;θ)=12GD(x;12,πθ,2,0)+12GD(x;12,πθ,2,0),

which implies that

GND(x;μ,α,β)=12GD(x;1β,α,β,μ)+12GD(x;1β,α,β,μ)=βe(|xμ|α)β2αΓ(1β),

is a generalization of the normal distribution, where μ is the location, α>0 is the scale, and β>0 is the shape and where β=2 yields a normal distribution. It includes the Laplace distribution when β=1. As β, the density converges pointwise to a uniform density on (μα,μ+α). Below is the generalized normal distribution plotted for α=π2,β=1/2,1,4 in blue with the normal case α=π2,β=2 in orange.

enter image description here

The above can be seen as the generalized normal distribution Version 1 and in different parameterizations is known as the exponential power distribution, and the generalized error distribution, which are in turn one of several other generalized normal distributions.

Carl
fonte
2

The derivation of the chi-squared distribution from the normal distribution is much analogous to the derivation of the gamma distribution from the exponential distribution.

We should be able to generalize this:

  • If the Xi are independent variables from a generalized normal distribution with power coefficient m then Y=inXim can be related to some scaled Chi-squared distribution (with "degrees of freedom" equal to n/m).

The analogy is as following:

Normal and Chi-squared distributions relate to the sum of squares

  • The joint density distribution of multiple independent standard normal distributed variables depends on xi2
    f(x1,x2,...,xn)=exp(0.5i=1nxi2)(2π)n/2

  • If XiN(0,1)

    then i=1nXi2χ2(ν)

Exponential and gamma distributions relate to the regular sum

  • The joint density distribution of multiple independent exponential distributed variables depends on xi

    f(x1,x2,...,xn)=exp(λi=1nxi)λn

  • If XiExp(λ)

    then i=1nXiGamma(n,λ)


The derivation can be done by a change of variables integrating not over all x1,x2,...xn but instead only over the summed term (this is what Pearson did in 1900). This unfolds very similar in both cases.

For the χ2 distribution:

fχ2(n)(s)ds=es/2(2π)n/2dVdsds=es/2(2π)n/2πn/2Γ(n/2)sn/21ds=12n/2Γ(n/2)sn/21es/2ds

Where V(s)=πn/2Γ(n/2+1)sn/2 is the n-dimensional volume of an n-ball with squared radius s.

For the gamma distribution:

fG(n,λ)(s)ds=eλsλndVdsds=eλsλnnsn1n!ds=λnΓ(n)sn1eλsds

Where V(s)=snn! is the n-dimensional volume of a n-polytope with xi<s.


The gamma distribution can be seen as the waiting time Y for the n-th event in a Poisson process which is the distributed as the sum of n exponentially distributed variables.

As Alecos Papadopoulos already noted there is no deeper connection that makes sums of squared normal variables 'a good model for waiting time'. The gamma distribution is the distribution for a sum of generalized normal distributed variables. That is how the two come together.

But the type of sum and type of variables may be different. While the gamma distribution, when derived from the exponential distribution (p=1), gets the interpretation of the exponential distribution (waiting time), you can not go reverse and go back to a sum of squared Gaussian variables and use that same interpretation.

The density distribution for waiting time which falls of exponentially, and the density distribution for a Gaussian error falls of exponentially (with a square). That is another way to see the two connected.

Sextus Empiricus
fonte