Expectativa condicional de R ao quadrado

16

Considere o modelo linear simples:

yy=Xββ+ϵ

onde ϵii.i.d.N(0,σ2) e XRn×p ,p2 eX contém uma coluna de constantes.

Meu questão é, dado E(XX) , β e σ , existe uma fórmula para um não trivial limite superior E(R2) *? (assumindo que o modelo foi estimado pelo OLS).

* Eu assumi, escrevendo isso, que a obtenção de E(R2) em si não seria possível.

EDIT1

utilizando a solução derivada por Stéphane Laurent (ver abaixo), podemos obter um não trivial limite superior E(R2) . Algumas simulações numéricas (abaixo) mostram que esse limite é realmente muito apertado.

Stéphane Laurent derivou o seguinte: R2B(p1,np,λ) onde B(p1,np,λ) é uma distribuição Beta não central com parâmetro de não centralidade λ com

λ=||XβE(X)β1n||2σ2

então

E(R2)=E(χp12(λ)χp12(λ)+χnp2)E(χp12(λ))E(χp12(λ))+E(χnp2)

onde χk2(λ) é um não central χ2com parâmetro λ e k graus de liberdade. Assim, um não-trivial limite superior para E(R2) é

λ+p1λ+n1

é muito apertado (muito mais apertado do que o que eu esperava seria possível):

por exemplo, usando:

rho<-0.75
p<-10
n<-25*p
Su<-matrix(rho,p-1,p-1)
diag(Su)<-1
su<-1
set.seed(123)
bet<-runif(p)

a média dos R2 mais de 1000 simulações é 0.960819. O limite superior teórico acima fornece 0.9609081. O limite parece ser igualmente precisos através de muitos valores de R2 . Verdadeiramente surpreendente!

EDIT2:

depois de mais pesquisas, ele aparece que a qualidade da aproximação limite superior para E(R2) vai ficar melhor como λ+p aumenta (e tudo o mais igual, λ aumenta com n ).

user603
fonte
tem uma distribuição beta, com parâmetros dependendo apenas n e p . Não ? R2np
Stéphane Laurent
1
Desculpe, minha afirmação anterior é verdadeira apenas sob a hipótese do "modelo nulo" (somente interceptação). Caso contrário, a distribuição de deve ser algo como uma distribuição Beta não central, com um parâmetro noncentrality envolvendo os parâmetros desconhecidos. R2
Stéphane Laurent
@ StéphaneLaurent: obrigado. Você saberia mais sobre a relação entre os parâmetros desconhecidos e os parâmetros do Beta? Eu estou preso, portanto, qualquer ponteiro seria bem-vinda ...
user603
Você absolutamente precisa lidar com ? Talvez existe uma fórmula simples exacta para E [ I 2 / ( 1 - R 2 ) ] . E[R2]E[R2/(1R2)]
Stéphane Laurent
1
Com as notações de minha resposta, para alguns escalar K e o primeiro momento do não central F -distribuição é simples. R2/(1R2)=kFkF
Stéphane Laurent

Respostas:

12

Qualquer modelo linear pode ser escrito onde G tem a distribuição normal padrão em R n e μ é assumido como pertencendo a um subespaço linear W de R n . No seu caso, W = Im ( X ) .Y=μ+σGGRnμWRnW=Im(X)

Deixe o subespaço linear unidimensional gerado pelo vector ( 1 , 1 , ... , 1 ) . Tomando L = [ 1 ] a seguir, o R 2 é altamente relacionada com a clássica Fisher estatística F = P Z Y 2 / ( m - )[1]W(1,1,,1)U=[1]R2 para o teste de hipótese deH0:{uL}ondeLWé um subespaço linear, e denotando por Z=LWo complemento ortogonal deLemW, e denotandom=dim(W)e=dim(U)

F=PZY2/(m)PWY2/(nm),
H0:{μU}UWZ=UWUWm=dim(W)=dim(U)(então e = 1 na sua situação).m=p=1

De fato, porque a definição deR2seja R2=P Z Y dois

PZY2PWY2=R21R2
R2
R2=PZY2PUY2=1PWY2PUY2.

Obviamente e P W Y = σ P W L .PZY=PZμ+σPZGPWY=σPWG

Quando é verdadeiro,H0:{μU} então e, portanto, F = P Z G ² 2 / ( m - )PZμ=0 tem adistribuiçãoFisherFm-,n-m. Consequentemente, a partir da relação clássica entre a distribuição de Fisher e a distribuição Beta,R2B(m-,n-m).

F=PZG2/(m)PWG2/(nm)Fm,nm
Fm,nmR2B(m,nm)

In the general situation we have to deal with PZY=PZμ+σPZG when PZμ0. In this general case one has PZY2σ2χm2(λ), the noncentral χ2 distribution with m degrees of freedom and noncentrality parameter λ=PZμ2σ2FFm,nm(λ)F

R2m and nm and noncentrality parameter λ. I think the moments are available in the literature but they possibly are highly complicated.

Finally let us write down PZμ. Note that PZ=PWPU. One has PUμ=μ¯1 when U=[1], and PWμ=μ. Hence PZμ=μμ¯1 where here μ=Xβ for the unknown parameters vector β.

Stéphane Laurent
fonte
1
PZx is the orthogoanl projection of x on the linear subspace Z. And P denotes projection on the orthogonal.
Stéphane Laurent
1
Beware of PxPx2. I'm going to edit my post to write the formulas.
Stéphane Laurent
1
Done - do you see any simplification ?
Stéphane Laurent
1
μ¯=1nμi
Stéphane Laurent
1
Type I, obviously: type II are distributed on (0,). Actually R2/(1R2) has the type II distribution. I have done the last corrections for today.
Stéphane Laurent