Prova de que os coeficientes em um modelo OLS seguem uma distribuição t com (nk) graus de liberdade

29

fundo

Suponha que tenhamos um modelo de Mínimos Quadrados Ordinários em que tenhamos coeficientes em nosso modelo de regressão, k

y=Xβ+ϵ

onde é um vetor de coeficientes, é a matriz de design definida porβ(k×1)X

X=(1x11x12x1(k1)1x211xn1xn(k1))
e os erros são IID normal,
ϵN(0,σ2I).

Minimizamos a soma dos erros ao quadrado, definindo nossas estimativas para β como

β^=(XTX)1XTy.

Um estimador imparcial de σ2 é

s2=yy^2np
que y^Xβ^ ( ref ).

A covariância de β^ é dada por

Cov(β^)=σ2C
que C(XTX)1 ( ref ).

Questão

Como posso provar que para β^i ,

β^iβisβ^itnk
onde tnk é um distribuição t com (nk) graus de liberdade e o erro padrão de β^i é estimado por sβ^i=scii .

Minhas tentativas

Eu sei que para variáveis ​​aleatórias amostradas de , você pode mostrar que reescrevendo o LHS como e percebendo que o número é uma distribuição normal padrão e o denominador é raiz quadrada de uma distribuição qui-quadrado com df = (n-1) e dividido por (n- 1) ( ref ) E, portanto, segue uma distribuição t com df = (n-1) ( ref ).x N ( μ , σ 2 ) ˉ x - μnxN(μ,σ2)( ˉ x -μ

x¯μs/ntn1
(x¯μσ/n)s2/σ2

Não consegui estender essa prova à minha pergunta ...

Alguma ideia? Estou ciente dessa questão , mas eles não a provam explicitamente, apenas fornecem uma regra prática, dizendo "cada preditor custa um grau de liberdade".

Garrett
fonte
Como é uma combinação linear de variáveis ​​normais em conjunto, ele tem uma distribuição normal. Portanto, tudo que você precisa é (1) estabelecer que ; (2) mostre que é um estimador imparcial de ; e (3) demonstrar os graus de liberdade em é . Este último foi comprovado neste site em vários locais, como stats.stackexchange.com/a/16931 . Eu suspeito que você já sabe como fazer (1) e (2). E( β i)=βis 2 β i Var( β i)s β in-kβ^iE(β^i)=βisβ^i2Var(β^i)sβ^ink
whuber

Respostas:

32

Como sabemos que e, portanto, sabemos que para cada componente de , onde é o elemento diagonal de . Assim, sabemos que β -β~N(0,σ2(XTX)-1)k β β k-βk~N(0,σ2Skk)Skkkth(XTX

β^=(XTX)1XTY=(XTX)1XT(Xβ+ε)=β+(XTX)1XTε
β^βN(0,σ2(XTX)1)
kβ^
β^kβkN(0,σ2Skk)
Skkkth z k = β k - β k(XTX)1
zk=β^kβkσ2SkkN(0,1).

Observe a declaração do teorema da distribuição de uma forma quadrática idempotente em um vetor normal padrão (teorema B.8 em Greene):

Se e é simétrica e idempotente, então é distribuído onde é o posto de .A x T A x χ 2 ν ν AxN(0,I)AxTAxχν2νA

Let denota o vetor residual de regressão e deixe que é a matriz fabricante residual (ou seja, ) . É fácil verificar se é simétrico e idempotente . M=In-X(XTX)-1XT,My= ε Mε^

M=InX(XTX)1XT,
My=ε^M

Seja um estimador de . σ2

s2=ε^Tε^np
σ2

Precisamos, então, fazer uma álgebra linear. Observe estas três propriedades da álgebra linear:

  • A classificação de uma matriz idempotente é seu rastreio.
  • Tr(A1+A2)=Tr(A1)+Tr(A2)
  • Tr(A1A2)=Tr(A2A1) se for e for ( essa propriedade é essencial para o funcionamento abaixo )n 1 × n 2 A 2 n 2 × n 1A1n1×n2A2n2×n1

Portanto,

rank(M)=Tr(M)=Tr(InX(XTX)1XT)=Tr(In)Tr(X(XTX)1XT))=Tr(In)Tr((XTX)1XTX))=Tr(In)Tr(Ip)=np

Então

V=(np)s2σ2=ε^Tε^σ2=(εσ)TM(εσ).

Aplicando o Teorema para a Distribuição de uma Forma Quadrática Idempotente em um Vetor Normal Padrão (declarado acima), sabemos que .Vχnp2

Como você supôs que é normalmente distribuído, então é independente de e como é uma função de , então também é independente de . Assim, e são independentes um do outro.εβ^ε^s2ε^s2β^zkV

Então, é a razão de uma distribuição normal padrão com a raiz quadrada de uma distribuição qui-quadrado com os mesmos graus de liberdade (isto é, ), que é uma caracterização da distribuição . Portanto, a estatística tem uma distribuição com graus de liberdade.

tk=zkV/(np)
npttktnp

Em seguida, ele pode ser manipulado algebricamente em uma forma mais familiar.

tk=β^kβkσ2Skk(np)s2σ2/(np)=β^kβkSkks2=β^kβks2Skk=β^kβkse(β^k)
Marcador azul
fonte
Também uma questão paralela: para o Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vector, não precisamos também que seja simétrico? Infelizmente, eu não tenho Greene, então não consigo ver a prova, embora tenha visto que a Wikipedia tinha a mesma forma que você . No entanto, um exemplo de contador parece ser a matriz idempotente que leva a que não é qui-quadrado, pois pode assumir valores negativos. ..AA=(1100)x12+x1x2
Garrett
1
@ Garrett Minhas desculpas, deve ser simétrica e idempotente. Uma prova é fornecida como o Teorema 3 neste documento: www2.econ.iastate.edu/classes/econ671/hallam/documents/ ... Felizmente, é simétrico e idempotente. AM
Blue Marker
1
A é meramente uma representação matricial de uma forma quadrática. Como toda forma quadrática tem uma representação simétrica, o requisito de simetria de está implícito na declaração do teorema. (As pessoas não usam matrizes assimétricas para representar formas quadráticas.) Portanto, a forma quadrática é representada exclusivamente pela matriz que não é idempotente. A(x1,x2)x12+x1x2A=(11/21/20)
whuber
1
Por que implica que é independente de ? Não é bem assim. ϵN(0,σ2)β^ϵ^
Glassjawed
1
@Glassjawed Como e são multivariados normalmente distribuídos, então a não correlação implica independência. Usando expressões e de acima, podemos mostrar que . β^ε^β^=β+(XX)1Xεε^=MεCov(β^,ε^)=0p×n
rzch