Lei da variância total como teorema de Pitágoras

15

Suponha que X e Y tenham um segundo momento finito. No espaço de Hilbert de variáveis aleatórias com segundo momento finito (com produto interno de T1,T2 definido por E(T1T2) , ||T||2=E(T2) ), pode-se interpretar E(Y|X) como a projecção de Y sobre o espaço de funções de X .

Também sabemos que a Lei da Variância Total lê

Var(Y)=E(Var(Y|X))+Var(E(Y|X))

Existe uma maneira de interpretar essa lei em termos da figura geométrica acima? Disseram-me que a lei é a mesma do Teorema de Pitágoras para o triângulo retângulo com os lados Y,E(Y|X),YE(Y|X) . Entendo por que o triângulo é angular, mas não como o Teorema de Pitágoras está capturando a Lei da Variância Total.

renrenthehamster
fonte

Respostas:

7

Suponho que você se sinta confortável em relação ao triângulo retângulo, o que significa que E[YX] e YE[YX] são variáveis ​​aleatórias não correlacionadas . Para variáveis ​​aleatórias não correlacionadas UMA e B ,

(1)var(UMA+B)=var(UMA)+var(B),
e , portanto, se definirmos UMA=Y-E[YX] eB=E[YX] modo queUMA+B=Y , obtemos que
2)var(Y)=var(Y-E[YX])+var(E[YX]).
Resta mostrar que é o mesmo que E [ var ( Y X ) ], para que possamos reestabelecer ( 2 ) como var ( Y ) = E [ var ( Y X ) ] + var ( E [ Y X ] ) qual é a fórmula de variação total.var(YE[YX])E[var(YX)](2)
(3)var(Y)=E[var(YX)]+var(E[YX])

É bem conhecido que o valor esperado da variável aleatória é E [ Y ] , isto é, E [ E [ Y | X ] ] = E [ Y ] . Então vemos que E [ A ] = E [ Y - E [ Y X ] ] = E [ Y ] - E [ E [E[YX]E[Y]E[E[YX]]=E[Y] a partir do qual se segue que var ( A ) = E [ A 2 ] , isto é, var ( Y - E [ Y | X ] ) = E [ ( Y - E [ Y | X ] ) 2 ] . Seja C denotado a variável aleatória ( Y - E [ Y

E[A]=E[YE[YX]]=E[Y]E[E[YX]]=0,
var(A)=E[A2]
(4)var(YE[YX])=E[(YE[YX])2].
C para que possamos escrever essa var ( Y - E [ Y X ] ) = E [ C ] . Mas, E [ C ] = E [ E [ C X ] ] onde E [ C X ] = E [ ( Y - E [ Y X ] )(YE[YX])2
(5)var(YE[YX])=E[C].
E[C]=E[E[CX]] Agora,dadoque X = xE[CX]=E[(YE[YX])2|X].X=x , a distribuição condicional de tem E [ Y X = x ] e então E [ ( Y - E [ Y X = x ] ) 2 | X = x ] = var ( Y X = x ) . Em outras palavras, EYE[YX=x]
E[(YE[YX=x])2|X=x]=var(YX=x).
modo que avariável aleatória E [ C X ] seja apenas var ( Y X ) . Portanto, E [ C ] = E [ E [ C X ] ] = E [ var ( Y X ) ] ,E[CX=x]=var(YX=x) E[CX]var(YX)
(6)E[C]=E[E[CX]]=E[var(YX)],
(5)
var(YE[YX])=E[var(YX)].
(2)(3)
Dilip Sarwate
fonte
Y-E(Y|X)é uma variável com média zero. Conseqüentementevumar(Y-E(Y|X))=E[Y-E(Y|X)]2. AgoraEvumar(Y|X)=E[E((Y-E(Y|X))2|X)]=E[Y-E(Y|X)]2. Segunda parte um pouco menos complicada da resposta.
Mvctas #
11
@mpiktas Obrigado. Estou ciente da maneira mais curta de obter o resultado desejado, mas sempre tenho dificuldade em explicá-lo de uma maneira que os alunos iniciantes possam acompanhar facilmente. Aliás, nessa última equação que você escreveu, a quantidade à direita tem um expoente fora de lugar: é a quantidade dentro dos colchetes que deve ser ao quadrado; isto é, deve serE[(Y-E[Y|X])2]. Tarde demais para corrigi-lo, a menos que um moderador o obrigue.
Dilip Sarwate
11
Por outro lado, muitos probabilistas interpretariam corretamente a equação de @mpiktas como está escrita; o conjunto extra de parênteses é frequentemente descartado. Talvez meus olhos estejam me enganando, mas acho que a notação dele é consistente o tempo todo. Estou feliz em ajudar a consertar as coisas, se desejado. :-)
cardeal
@ cardinal Não interpretei mal a escrita de mpiktas e entendi completamente o que ele estava dizendo. Enquanto eu também estou acostumado a interpretarEX ou EX como o valor esperado de X, Eu sempre tenho minhas dúvidas sobre EX2, especialmente porque o PEMDAS não diz nada sobre isso. A expectativa tem prioridade sobre a exponenciação ou não? Acho que estou acostumado ao operador de expectativa de aplicar a tudo dentro dos colchetes. Por favor, não edite o comentário de m [iktas, mas se você quiser excluir tudo neste tópico de "Incidentalmente" em diante no meu comentário anterior, vá em frente.
precisa saber é o seguinte
Sinto muito, @Dilip. Minha intenção não era sugerir que você não entendeu; Eu sabia que você tinha! Concordo também que a notação pode se prestar a ambiguidades e é bom indicá-las quando surgirem! O que eu quis dizer foi que pensei na segunda equação no comentário (ou seja,vumar...) made clear the convention that was used henceforth. :-)
cardinal
2

Statement:

The Pythagorean theorem says, for any elements T1 and T2 of an inner-product space with finite norms such that T1,T2=0,

(1)||T1+T2||2=||T1||2+||T2||2.
Or in other words, for orthogonal vectors, the squared length of the sum is the sum of the squared lengths.

Our Case:

In our case T1=E(Y|X) and T2=YE[Y|X] are random variables, the squared norm is ||Ti||2=E[Ti2] and the inner product T1,T2=E[T1T2]. Translating (1) into statistical language gives us:

(2)E[Y2]=E[{E(Y|X)}2]+E[(YE[Y|X])2],
because E[T1T2]=Cov(T1,T2)=0. We can make this look more like your stated Law of Total Variance if we change (2) by...
  1. Subtract (E[Y])2 from both sides, making the left hand side Var[Y],

  2. Noting on the right hand side that E[{E(Y|X)}2](E[Y])2=Var(E[Y|X]),

  3. Noting that E[(YE[Y|X])2]=E[E{(YE[Y|X])2}|X]=E[Var(Y|X)].

For details about these three bullet points see @DilipSarwate's post. He explains this all in much more detail than I do.

Taylor
fonte