A linearidade da variância

16

Eu acho que as duas fórmulas a seguir são verdadeiras:

Var(aX)=a2Var(X)
enquanto a é um número constante
Var(X+Y)=Var(X)+Var(Y)
seX ,Y são independentes

No entanto, não tenho certeza do que está errado com o abaixo:

Var(2X)=Var(X+X)=Var(X)+Var(X)
que não seja igual a22Var(X) , ou seja,4Var(X) .

Se for assumido que X é a amostra retirada de uma população, acho que sempre podemos assumir que X é independente dos outros X .

Então, o que há de errado com a minha confusão?

lanselibai
fonte
8
A variância não é linear - sua primeira afirmação mostra isso (se fosse, você teria . Por outro lado, a covariância é bilinear.Var(aX)=aVar(X)
Batman

Respostas:

33

O problema com sua linha de raciocínio é

"Acho que sempre podemos assumir que é independente dos outros X ".XX

não é independente do X . O símbolo X está sendo usado para se referir à mesma variável aleatória aqui. Depois que você souber o valor do primeiro X a aparecer na sua fórmula, isso também corrigirá o valor do segundo X a aparecer. Se você deseja que eles se refiram a variáveis ​​aleatórias distintas (e potencialmente independentes), é necessário denotá-las com letras diferentes (por exemplo, X e Y ) ou usando subscritos (por exemplo, X 1 e X 2 ); o último é frequentemente (mas nem sempre) usado para denotar variáveis ​​extraídas da mesma distribuição.XXXXXXYX1X2

Se duas variáveis e Y são independentes, então Pr ( X = um | Y = b ) é o mesmo que Pr ( X = um ) : conhecendo o valor de Y não nos dá qualquer informação adicional sobre o valor de X . Mas Pr ( X = um | X = b ) é 1 se a = b e 0 em contrário: conhecer o valor de XXYPr(X=a|Y=b)Pr(X=a)YXPr(X=a|X=b)1a=b0Xdá-lhe informações completas sobre o valor de . [Você pode substituir as probabilidades neste parágrafo por funções de distribuição cumulativa ou, quando apropriado, funções de densidade de probabilidade, para essencialmente o mesmo efeito.]X

Outra maneira de ver as coisas é que, se duas variáveis ​​são independentes, elas têm correlação zero (embora a correlação zero não implique independência !), Mas está perfeitamente correlacionado consigo mesmo, Corr ( X , X ) = 1 para que X não possa ser independente de si mesmo. Observe que, como a covariância é dada por Cov ( X , Y ) = Corr ( X , Y ) XCorr(X,X)=1X , entãoCov(X,X)=1Cov(X,Y)=Corr(X,Y)Var(X)Var(Y)

Cov(X,X)=1Var(X)2=Var(X)

A fórmula mais geral para a variação de uma soma de duas variáveis ​​aleatórias é

Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)

Em particular, , entãoCov(X,X)=Var(X)

Var(X+X)=Var(X)+Var(X)+2Var(X)=4Var(X)

que é o mesmo que você deduziria da aplicação da regra

Var(aX)=a2Var(X)Var(2X)=4Var(X)

Se você estiver interessado em linearidade, poderá estar interessado na bilinearidade da covariância. Para variáveis ​​aleatórias , X , Y e Z (dependentes ou independentes) e constantes a , b , c e d , temosWXYZabcd

Cov(aW+bX,Y)=aCov(W,Y)+bCov(X,Y)

Cov(X,cY+dZ)=cCov(X,Y)+dCov(X,Z)

e no geral,

Cov(aW+bX,cY+dZ)=acCov(W,Y)+adCov(W,Z)+bcCov(X,Y)+bdCov(X,Z)

You can then use this to prove the (non-linear) results for variance that you wrote in your post:

Var(aX)=Cov(aX,aX)=a2Cov(X,X)=a2Var(X)

Var(aX+bY)=Cov(aX+bY,aX+bY)=a2Cov(X,X)+abCov(X,Y)+baCov(X,Y)+b2Cov(Y,Y)Var(aX+bY)=a2Var(X)+b2Var(Y)+2abCov(X,Y)

The latter gives, as a special case when a=b=1,

Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)

When X and Y are uncorrelated (which includes the case where they are independent), then this reduces to Var(X+Y)=Var(X)+Var(Y). So if you want to manipulate variances in a "linear" way (which is often a nice way to work algebraically), then work with the covariances instead, and exploit their bilinearity.

Silverfish
fonte
1
Yes! I think you pinpointed at the beginning that the confusion was essentially a notational one. I found it very helpful when one book (very explicitly, some might say laboriously) explained the interpretation of and rules of evaluating a probabilistic statement (so that, e.g., even if you know what you mean by Pr(X+X=n) where XUniform(1..6), it is technically incorrect if you're considering throwing a n in craps (and X+X=2X would never yield an odd roll); the event would be properly expressed using X1,X2 i.i.d.).
Vandermonde
1
This is in contrast to (and I think my misapprehension might have stemmed from) how 2+PRNG(6)+PRNG(6) often is how you would toss dice as above and/or notation/conventions such as 2d6=d6+d6 in which different instances are genuinely intended to be independent.
Vandermonde
@Vandermonde That's an interesting point. I initially considered mentioning the use of subscripts to distinguish between "different Xs" but didn't bother - think I might edit it in now. The argument that "you'd never get an odd total score if the sum was 2X" is very clear and convincing to someone who can't see the need to distinguish: thanks for sharing it.
Silverfish
0

Another way of thinking about it is that with random variables 2XX+X.

2X would mean two times the value of the outcome of X, while X+X would mean two trials of X. In other words, it's the difference between rolling a die once and doubling the result, vs rolling a die twice.

Benjamin
fonte
+1 This is a perfectly clear and correct answer. Welcome to our site!
whuber
Thanks @whuber!
Benjamin