Para regressão linear simples, o coeficiente de regressão é calculável diretamente a partir da matriz de variância-covariância , por onde é o índice da variável dependente e é o índice da variável explicativa.C d , e de
Se alguém possui apenas a matriz de covariância, é possível calcular os coeficientes para um modelo com múltiplas variáveis explicativas?
ETA: Para duas variáveis explicativas, parece que
e de modo análogo para. Não estou vendo imediatamente como estender isso para três ou mais variáveis.
Respostas:
Sim, a matriz de covariância de todas as variáveis - explicativa e resposta - contém as informações necessárias para encontrar todos os coeficientes, desde que um termo de interceptação (constante) seja incluído no modelo. (Embora as covariâncias não forneçam informações sobre o termo constante, elas podem ser encontradas a partir dos meios dos dados.)
Análise
Deixe os dados para as variáveis explanatórias ser providenciado como vectores de coluna -dimensional x 1 , x 2 , ... , x p e a variável de resposta ser o vector coluna y , considerada uma realização de uma variável aleatória Y . Os ordinários estimativas de mínimos quadrados p dos coeficientes no modelon x1, x2, … , Xp y Y β^
são obtidos montando os vetores de coluna X 0 = ( 1 , 1 , … , 1 ) ′ , X 1 , … , X p em uma matriz n × p + 1 X e resolvendo o sistema de equações linearesp + 1 X0 0= ( 1 , 1 , … , 1 )′, X1, … , Xp n × p + 1 X
É equivalente ao sistema
A eliminação gaussiana resolverá esse sistema. Ele prossegue juntando a matriz 1p + 1 × p + 1 e ap+1-vector11nX′X p + 1 em umamatrizp+1×p+2Ae reduzi-la em linha. 1nX′y p + 1 × p + 2 UMA
O primeiro passo irá inspecionar . Considerando que isso é diferente de zero, ele subtrai múltiplos apropriados da primeira linha deAdas linhas restantes para zerar as entradas restantes em sua primeira coluna. Esses múltiplos serão11n( X′X)11= 1nX′0 0X0 0= 1 UMA e o número subtraído a partir da entradaAi+1,j+1=X ' i Xjserá igual ¯ X i ¯ X j. Essa é apenas a fórmula para a covariância deXieXj. Além disso, o número deixado na posiçãoi+1,p+2é igual a11nX′0 0XEu= X¯¯¯¯Eu UMAi + 1 , j + 1= X′EuXj X¯¯¯¯EuX¯¯¯¯j XEu Xj i + 1 , p + 2 , a covariância deXicomy.1nX′Euy- XEu¯¯¯¯¯¯y¯¯¯ XEu y
Assim, após o primeiro passo da eliminação gaussiana, o sistema é reduzido para resolver
e obviamente - como todos os coeficientes são covariâncias - essa solução pode ser encontrada a partir da matriz de covariância de todas as variáveis.
(Quando é invertível a solução pode ser escrito C - 1 ( Cov ( X i , y ) ) ' . As fórmulas indicadas na questão são casos especiais da presente quando p = 1 e p = 2 Escrita de tais fórmulas explicitamente vontade. tornam-se cada vez mais complexos à medida que p cresce. Além disso, são inferiores para computação numérica, o que é melhor realizado resolvendo o sistema de equações em vez de inverter a matriz C. )C C−1(Cov(Xi,y))′ p=1 p=2 p C
O termo constante será a diferença entre a média de e os valores médios previstos a partir das estimativas, X p .y Xβ^
Exemplo
Para ilustrar, o
R
código a seguir cria alguns dados, calcula suas covariâncias e obtém as estimativas do coeficiente de mínimos quadrados somente a partir dessas informações. Ele os compara com as estimativas obtidas do estimador de mínimos quadradoslm
.A saída mostra concordância entre os dois métodos:
fonte
cov(z)
y
ex
ebeta.hat
. Osy
ex
fazem parte dos dados originais. É possível derivar o intercepto apenas da matriz e dos meios de covariância? Você poderia fornecer a notação?