Como derivar matriz de variância-covariância de coeficientes em regressão linear

Estou lendo um livro sobre regressão linear e tenho alguns problemas para entender a matriz de variância-covariância de $\mathbf{b}$ :

Os itens diagonais são fáceis, mas os fora da diagonal são um pouco mais difíceis, o que me intriga é que

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

mas não há vestígios de e β 1 aqui.$\beta_0$$\beta_1$

Esta é realmente uma pergunta interessante que desafia seu entendimento básico de uma regressão.

Primeiro elimine qualquer confusão inicial sobre notação. Estamos olhando para a regressão:

$$y=b_0+b_1x+\hat{u}$$

em que $b_0$ e $b_1$ são os estimadores da verdadeira $\beta_0$ e $\beta_1$ , e u são os resíduos da regressão. Observe que a regressão verdadeira e não servida subjacente é, portanto, denotada como:$\hat{u}$

$$y=\beta_0+\beta_1x+u$$

Com a expectativa de $E[u]=0$ e variância $E[u^2]=\sigma^2$ . Alguns livros denotam $b$ como β e nós adaptar esta convenção aqui. Também usamos a notação matricial, onde b é o vetor 2x1 que contém os estimadores de β = [ β 0 , β 1 ] ′ , ou seja, b = [ b 0 , b 1 ] ′$\hat{\beta}$$\beta=[\beta_0, \beta_1]'$$b=[b_0, b_1]'$. (Também por uma questão de clareza, trato X como fixado nos cálculos a seguir).

Agora a sua pergunta. Sua fórmula para a covariância é realmente correta, ou seja:

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

Eu acho que você quer saber como é que temos os verdadeiros coeficientes não observados $\beta_0, \beta_1$ nesta fórmula? Eles são cancelados se dermos um passo adiante ao expandir a fórmula. Para ver isso, observe que a variação populacional do estimador é dada por:

$$Var(\hat\beta)=\sigma^2(X'X)^{-1}$$

Essa matriz mantém as variações nos elementos diagonais e covariâncias nos elementos fora da diagonal.

To arrive to the above formula, let's generalize your claim by using matrix notation. Let us therefore denote variance with $Var[\cdot]$ and expectation with $E[\cdot]$.

$$Var[b]=E[b^2]-E[b]E[b']$$

Essencialmente, temos a fórmula geral de variação, usando apenas a notação matricial. A equação resolve quando substitui na expressão padrão o estimador $b=(X'X)^{-1}X'y$ . Suponha também que $E[b]=\beta$ seja um estimador imparcial. Portanto, obtemos:

$$E[((X'X)^{-1}X'y)^2] - \underset{2 \times 2}{\beta^2}$$

Note that we have on the right hand side $\beta^2$ - 2x2 matrix, namely $bb'$, but you may at this point already guess what will happen with this term shortly.

Replacing $y$ with our expression for the true underlying data generating process above, we have:

$$\begin{align*} E\Big[\Big((X'X)^{-1}X'y\Big)^2\Big] - \beta^2 &= E\Big[\Big((X'X)^{-1}X'(X\beta+u)\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\underbrace{(X'X)^{-1}X'X}_{=I}\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= \beta^2+E\Big[\Big(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \end{align*}$$

since $E[u]=0$. Furthermore, the quadratic $\beta^2$ term cancels out as anticipated.

Thus we have:

$$Var[b]=((X'X)^{-1}X')^2E[u^2]$$

By linearity of expectations. Note that by assumption $E[u^2]=\sigma^2$ and $((X'X)^{-1}X')^2=(X'X)^{-1}X'X(X'X)'^{-1}=(X'X)^{-1}$ since $X'X$ is a $K\times K$ symetric matrix and thus the same as its transpose. Finally we arrive at

$$Var[b]=\sigma^2(X'X)^{-1}$$

Now that we got rid of all $\beta$ terms. Intuitively, the variance of the estimator is independent of the value of true underlying coefficient, as this is not a random variable per se. The result is valid for all individual elements in the variance covariance matrix as shown in the book thus also valid for the off diagonal elements as well with $\beta_0\beta_1$ to cancel out respectively. The only problem was that you had applied the general formula for the variance which does not reflect this cancellation at first.

Ultimately, the variance of the coefficients reduces to $\sigma^2(X'X)^{-1}$ and independent of $\beta$. But what does this mean? (I believe you asked also for a more general understanding of the general covariance matrix)

Look at the formula in the book. It simply asserts that the variance of the estimator increases for when the true underlying error term is more noisy ($\sigma^2$ increases), but decreases for when the spread of X increases. Because having more observations spread around the true value, lets you in general build an estimator that is more accurate and thus closer to the true $\beta$. On the other hand, the covariance terms on the off-diagonal become practically relevant in hypothesis testing of joint hypotheses such as $b_0=b_1=0$. Other than that they are a bit of a fudge, really. Hope this clarifies all questions.

In your case we have

$$X'X=\begin{bmatrix}n & \sum X_i\\\sum X_i & \sum X_i^2\end{bmatrix}$$

Invert this matrix and you will get the desired result.

It appears that $\beta_0 \beta_1$ are the predicted values (expected values). They make the switch between $E(b_0)=\beta_0$ and $E(b_1)=\beta_1$.