Como os erros padrão dos coeficientes são calculados em uma regressão?

114

Para meu próprio entendimento, estou interessado em replicar manualmente o cálculo dos erros padrão dos coeficientes estimados, pois, por exemplo, vêm com a saída da lm()função R, mas não consegui defini-la. Qual é a fórmula / implementação usada?

ako
fonte
8
boa pergunta, muitas pessoas conhecem a regressão do ponto de vista da álgebra linear, onde você resolve a equação linear e obtém a resposta para beta. Não está claro por que temos erros e suposições padrão por trás disso. XXβ=Xy
Haitao Du

Respostas:

122

O modelo linear é escrito como onde denota o vetor de respostas, é o vetor de parâmetros de efeitos fixos, é a matriz de design correspondente cujas colunas são os valores das variáveis ​​explicativas e é o vetor de erros aleatórios. y β X ε

|y=Xβ+ϵϵN(0,σ2I),
yβXϵ

É sabido que uma estimativa de é fornecida por (consulte, por exemplo, o artigo da wikipedia ) Portanto, [lembrete: , para algum vetor aleatório e alguma matriz não aleatória ]p = ( X ' x ) - 1 X ' y . Var ( β ) = ( X ' x ) - 1 X 'β

β^=(XX)1Xy.
Var ( A X ) = A × Var ( X ) × A X A
Var(β^)=(XX)1Xσ2IX(XX)1=σ2(XX)1,
Var(AX)=A×Var(X)×AXA

para que onde pode ser obtido pelo Mean Square Error (MSE) na tabela ANOVA. σ 2

Var^(β^)=σ^2(XX)1,
σ^2

Exemplo com uma regressão linear simples em R

#------generate one data set with epsilon ~ N(0, 0.25)------
seed <- 1152 #seed
n <- 100     #nb of observations
a <- 5       #intercept
b <- 2.7     #slope

set.seed(seed)
epsilon <- rnorm(n, mean=0, sd=sqrt(0.25))
x <- sample(x=c(0, 1), size=n, replace=TRUE)
y <- a + b * x + epsilon
#-----------------------------------------------------------

#------using lm------
mod <- lm(y ~ x)
#--------------------

#------using the explicit formulas------
X <- cbind(1, x)
betaHat <- solve(t(X) %*% X) %*% t(X) %*% y
var_betaHat <- anova(mod)[[3]][2] * solve(t(X) %*% X)
#---------------------------------------

#------comparison------
#estimate
> mod$coef
(Intercept)           x 
   5.020261    2.755577 

> c(betaHat[1], betaHat[2])
[1] 5.020261 2.755577

#standard error
> summary(mod)$coefficients[, 2]
(Intercept)           x 
 0.06596021  0.09725302 

> sqrt(diag(var_betaHat))
                    x 
0.06596021 0.09725302 
#----------------------

Quando existe uma única variável de motivos, o modelo reduz a e para que e as fórmulas se tornam mais transparentes. Por exemplo, o erro padrão da inclinação estimada é

yi=a+bxi+ϵi,i=1,,n
X=(1x11x21xn),β=(ab)
(XX)1=1nxi2(xi)2(xi2xixin)
Var^(b^)=[σ^2(XX)1]22=nσ^2nxi2(xi)2.
> num <- n * anova(mod)[[3]][2]
> denom <- n * sum(x^2) - sum(x)^2
> sqrt(num / denom)
[1] 0.09725302
ocram
fonte
Obrigado pela resposta completa. Então, suponho que a última fórmula não se aplica ao caso multivariado?
ako
1
Não, a última fórmula funciona apenas para a matriz X específica do modelo linear simples. No caso multivariado, você deve usar a fórmula geral fornecida acima.
Ocram
4
+1, uma pergunta rápida, como é que vem? Var(β^)
abacate
6
@loganecolss: Ela vem do fato de que , por algum vetor aleatório e alguns matriz não aleatória . Var(AX)=AVar(X)AXA
Ocram
4
note que estas são as respostas certas para o cálculo da mão, mas a implementação real usado dentro lm.fit/ summary.lmé um pouco diferente, para a estabilidade e eficiência ...
Ben Bolker
26

As fórmulas para essas podem ser encontradas em qualquer texto intermediário sobre estatística, em particular, você pode encontrá-las em Sheather (2009, capítulo 5) , de onde também é realizado o exercício a seguir (página 138).

O código R a seguir calcula as estimativas de coeficiente e seus erros padrão manualmente

dfData <- as.data.frame(
  read.csv("http://www.stat.tamu.edu/~sheather/book/docs/datasets/MichelinNY.csv",
                   header=T))

# using direct calculations
vY <- as.matrix(dfData[, -2])[, 5]                        # dependent variable
mX <- cbind(constant = 1, as.matrix(dfData[, -2])[, -5])  # design matrix

vBeta <- solve(t(mX)%*%mX, t(mX)%*%vY)                    # coefficient estimates
dSigmaSq <- sum((vY - mX%*%vBeta)^2)/(nrow(mX)-ncol(mX))  # estimate of sigma-squared
mVarCovar <- dSigmaSq*chol2inv(chol(t(mX)%*%mX))          # variance covariance matrix
vStdErr <- sqrt(diag(mVarCovar))                          # coeff. est. standard errors
print(cbind(vBeta, vStdErr))                              # output

que produz a saída

                         vStdErr
constant   -57.6003854 9.2336793
InMichelin   1.9931416 2.6357441
Food         0.2006282 0.6682711
Decor        2.2048571 0.3929987
Service      3.0597698 0.5705031

Compare com a saída de lm():

# using lm()
names(dfData)
summary(lm(Price ~ InMichelin + Food + Decor + Service, data = dfData))

que produz a saída:

Call:
lm(formula = Price ~ InMichelin + Food + Decor + Service, data = dfData)

Residuals:
    Min      1Q  Median      3Q     Max 
-20.898  -5.835  -0.755   3.457 105.785 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -57.6004     9.2337  -6.238 3.84e-09 ***
InMichelin    1.9931     2.6357   0.756    0.451    
Food          0.2006     0.6683   0.300    0.764    
Decor         2.2049     0.3930   5.610 8.76e-08 ***
Service       3.0598     0.5705   5.363 2.84e-07 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1   1 

Residual standard error: 13.55 on 159 degrees of freedom
Multiple R-squared: 0.6344, Adjusted R-squared: 0.6252 
F-statistic: 68.98 on 4 and 159 DF,  p-value: < 2.2e-16 
tchakravarty
fonte
Bom truque com a solve()função. Isso seria um pouco mais longo sem a álgebra matricial. Existe uma maneira sucinta de executar essa linha específica apenas com operadores básicos?
ako
1
@AkselO Existe a conhecida expressão de formulário fechado para o estimador OLS, , que você pode calcular computando explicitamente a inversa da matriz ( (como o @ ocram fez), mas isso fica complicado com matrizes mal condicionadas. β^=(XX)1XY(XX)
Tchakravarty
0

Parte da resposta de Ocram está errada. Na realidade:

β^=(XX)1Xy(XX)1Xϵ.

E(β^)=(XX)1Xy.

E o comentário da primeira resposta mostra que é necessária mais explicação da variação do coeficiente:

Var(β^)=E(β^E(β^))2=Var((XX)1Xϵ)=(XX)1Xσ2IX(XX)1=σ2(XX)1


Editar

Obrigado, eu ignorei o chapéu nessa versão beta. A dedução acima é . O resultado correto é:wronglywrong

1.(Para obter essa equação, defina a derivada de primeira ordem de em igual a zero, para maximizar )β^=(XX)1Xy.SSRβSSR

2.E(β^|X)=E((XX)1X(Xβ+ϵ)|X)=β+((XX)1X)E(ϵ|X)=β.

3.Var(β^)=E(β^E(β^|X))2=Var((XX)1Xϵ)=(XX)1Xσ2IX(XX)1=σ2(XX)1

Espero que ajude.

Linzhe Nie
fonte
1
A derivação do estimador OLS para o vetor beta, , é encontrada em qualquer livro de regressão decente. À luz disso, você pode fornecer uma prova de que deve ser vez disso? β =(X'x)-1X'y-(X'X)-1X'εβ^=(XX)1XYβ^=(XX)1Xy(XX)1Xϵ
gung
4
Seu nem é um estimador, porque não é observável! £β^ϵ
whuber
Isso também pode ser visto neste vídeo: youtube.com/watch?v=jyBtfhQsf44
StatsStudent