Qual é a distribuição da soma das variáveis ​​gaussianas não iid?

36

Se X é distribuído N(μX,σX2) , Y é distribuído N(μY,σY2) e Z=X+Y , eu sei que Z é distribuído N(μX+μY,σX2+σY2) se X e Y forem independentes.

Mas o que aconteceria se X e Y não fossem independentes, ou seja, (X,Y)N((μXμY),(σX2σX,YσX,YσY2))

Isso afetaria como a soma Z é distribuída?

JCWong
fonte
7
Gostaria apenas de salientar que existem todos os tipos de distribuições conjuntas para exceto a normal bivariada, que ainda possuem X e Y marginalmente normais. E essa distinção faria uma enorme diferença nas respostas. (X,Y) XY
2
@ G.JayKerns Concordo que se e Y são normais, mas não necessariamente normais em conjunto, então X + Y pode ter uma distribuição diferente da normal. Mas a afirmação do OP de que " Z é distribuído N ( μ x + μ y , σ 2 x + σ 2 y ) se X e Y são independentes". está absolutamente correto. Se X e YXYX+YZN(μx+μy,σx2+σy2)XYXYsão marginalmente normais (como a primeira parte da frase diz) e independentes (conforme a suposição na segunda parte da frase), então também são conjuntamente normais. Na pergunta do OP , a normalidade da articulação é assumida explicitamente e, portanto, qualquer combinação linear de e Y é normal. XY
Dilip Sarwate
3
@Dilip, deixe-me esclarecer que não há nada errado com a pergunta e não há nada errado com a sua resposta (+1) (ou a probabilidade, também (+1)). Eu estava simplesmente apontando que se e Y são dependentes, não é necessário que sejam conjuntamente normais e não ficou claro que o OP tenha considerado essa possibilidade. Além disso, receio (embora não tenha passado muito tempo pensando) que, sem outras suposições (como a normalidade das articulações), a questão pode até não ser respondida. XY
5
Como o @ G.JayKerns menciona, é claro que podemos obter todo tipo de comportamento interessante se considerarmos normais distribuídos marginalmente, mas não em conjunto. Aqui é um exemplo simples: Let ser padrão normal e ε = ± 1 com probabilidade de 1/2 cada, independentemente de X . Vamos Y = ε X . Então Y também é normal normal, mas Z = X + Y é exatamente igual a zero com probabilidade 1/2 e é igual a 2 X com probabilidade 1/2. Xε=±1XY=εXYZ=X+Y2X
cardinal
4
Podemos obter toda uma variedade de comportamentos diferentes considerando a cópula bivariada associada a através do teorema de Sklar . Se usarmos a cópula gaussiana, obtemos que ( X , Y ) são conjuntamente normais e, portanto, Z = X + Y é normalmente distribuído. Se a cópula não é a cópula gaussiana, X e Y ainda são marginalmente distribuídos como normais, mas não são conjuntamente normais e, portanto, a soma não será normalmente distribuída, em geral. (X,Y)(X,Y)Z=X+YXY
cardeal

Respostas:

30

See my comment on probabilityislogic's answer to this question. Here,

X+YN(μX+μY,σX2+σY2+2σX,Y)aX+bYN(aμX+bμY,a2σX2+b2σY2+2abσX,Y)
where σX,Y is the covariance of X and Y. Nobody writes the off-diagonal entries in the covariance matrix as σxy2 as you have done. The off-diagonal entries are covariances which can be negative.
Dilip Sarwate
fonte
1
@Kodiologist Thanks! I am surprised that the typos remained unnoticed for more than 4 years.
Dilip Sarwate
29

@dilip's answer is sufficient, but I just thought I'd add some details on how you get to the result. We can use the method of characteristic functions. For any d-dimensional multivariate normal distribution XNd(μ,Σ) where μ=(μ1,,μd)T and Σjk=cov(Xj,Xk)j,k=1,,d, the characteristic function is given by:

φX(t)=E[exp(itTX)]=exp(itTμ12tTΣt)
=exp(ij=1dtjμj12j=1dk=1dtjtkΣjk)

For a one-dimensional normal variable YN1(μY,σY2) we get:

φY(t)=exp(itμY12t2σY2)

Now, suppose we define a new random variable Z=aTX=j=1dajXj. For your case, we have d=2 and a1=a2=1. The characteristic function for Z is the basically the same as that for X.

φZ(t)=E[exp(itZ)]=E[exp(itaTX)]=φX(ta)
=exp(itj=1dajμj12t2j=1dk=1dajakΣjk)

If we compare this characteristic function with the characteristic function φY(t) we see that they are the same, but with μY being replaced by μZ=j=1dajμj and with σY2 being replaced by σZ2=j=1dk=1dajakΣjk. Hence because the characteristic function of Z is equivalent to the characteristic function of Y, the distributions must also be equal. Hence Z is normally distributed. We can simplify the expression for the variance by noting that Σjk=Σkj and we get:

σZ2=j=1daj2Σjj+2j=2dk=1j1ajakΣjk

This is also the general formula for the variance of a linear combination of any set of random variables, independent or not, normal or not, where Σjj=var(Xj) and Σjk=cov(Xj,Xk). Now if we specialise to d=2 and a1=a2=1, the above formula becomes:

σZ2=j=12(1)2Σjj+2j=22k=1j1(1)(1)Σjk=Σ11+Σ22+2Σ21
probabilityislogic
fonte
2
+1 Thanks for taking the time to write out the details. Can this question be made part of the FAQ?
Dilip Sarwate