Por que o denominador do estimador de covariância não deveria ser n-2 em vez de n-1?

O denominador do estimador de variância (imparcial) é pois existem observações e apenas um parâmetro está sendo estimado.$n-1$$n$

Da mesma forma, pergunto-me por que o denominador de covariância não deveria ser quando dois parâmetros estão sendo estimados?$n-2$

Covariances são variações.

Desde pela identidade de polarização

os denominadores devem ser os mesmos.

Um caso especial deve lhe dar uma intuição; pense no seguinte:

Você está feliz que o último seja devido à correção de Bessel.$\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

Mas substituindo por X em ^ C O v ( X , Y ) para ao primeiro dá Σ n i = 1 ( X i - ¯ X ) ( X i - ¯ X$Y$$X$$\hat{\mathbb{Cov}}\left(X, Y\right)$ , então o que você acha que poderia preencher melhor o espaço em branco?$\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(X_{i}-\overline{X}\right)}{\text{mystery denominator}}$

Uma resposta rápida e suja ... Vamos considerar primeiro ; se você tivesse n observações com valor esperado conhecido E ( X ) = 0, você usaria $\text{var}(X)$$n$ $E(X) = 0$ para estimar a varicia.${1\over n}\sum_{i=1}^n X_i^2$

Como o valor esperado é desconhecido, você pode transformar suas observações em n - 1 observações com valor esperado conhecido, tomando A i = X i - X 1 para i = 2 , … , n . Você obterá uma fórmula com n - 1 no denominador - no entanto, A i não é independente e você deve levar isso em consideração; no final, você encontrará a fórmula usual.$n$$n-1$$A_i = X_i - X_1$$i = 2, \dots,n$$n-1$$A_i$

Agora, para a covariância, você pode usar a mesma idéia: se o valor esperado de fosse ( 0 , 0 ) , você teria $(X,Y)$$(0,0)$ na fórmula. Subtraindo(X1,Y1)a todos os outros valores observados, você obtémn-1observações com o valor esperado conhecido ... e um${1\over n}$$(X_1,Y_1)$$n-1$ na fórmula - mais uma vez, isso introduz alguma dependência a ser levada em consideração.${1\over n-1}$

PS A maneira limpa para fazer isso é escolher uma base ortonormal de , que é n - 1 vetores c 1 , ... , c n - 1 ∈ R n tal que$\big\langle (1, \dots, 1)' \big\rangle^{\perp}$$n-1$$c_1, \dots, c_{n-1} \in \mathbb R^n$

• para todas as i ,$\sum_j c_{ij}^2 = 1$$i$
• para todos os i ,$\sum_j c_{ij} = 0$$i$
• para todos os i 1 ≠ i 2 .$\sum_j c_{i_1j} c_{i_2j} = 0$$i_1 \ne i_2$

Pode, em seguida, definir variáveis Um i = Σ j c i j X j e B i = Σ j c i j Y j . Os ( A i , B i ) são independentes, têm valor esperado ( 0 , 0 ) e têm a mesma variância / covariância que as variáveis ​​originais.$n-1$$A_i = \sum_j c_{ij} X_j$$B_i = \sum_j c_{ij} Y_j$$(A_i,B_i)$$(0,0)$

A questão é que, se você quiser se livrar da expectativa desconhecida, descarte uma (e apenas uma) observação. Isso funciona da mesma forma nos dois casos.

Aqui está uma prova de que o estimador de covariância da amostra p-variada com denominador é um estimador imparcial da matriz de covariância:$\frac{1}{n-1}$

.$x' = (x_1,...,x_p)$

$\Sigma= E((x-\mu)(x-\mu)')$

$S = \frac{1}{n} \sum (x_i - \bar{x})(x_i - \bar{x})'$

$E(S) = \frac{n-1}{n}\Sigma$

$S= \frac{1}{n}\sum x_ix_i' - \bar{x}\bar{x}'$

Next:

(1) $E(x_ix_i') = \Sigma + \mu\mu'$

(2) $E(\bar{x}\bar{x}') = \frac{1}{n} \Sigma+ \mu\mu'$

Therefore: $E(S) = \Sigma + \mu\mu' - (\frac{1}{n} \Sigma+ \mu\mu') = \frac{n-1}{n} \Sigma$

And so $S_u = \frac{n}{n-1}S$, with the final denominator $\frac{1}{n-1}$, is unbiased. The off-diagonal elements of $S_u$ are your individual sample covariances.

Additional remarks:

1. The n draws are independent. This is used in (2) to calculate the covariance of the sample mean.

2. Step (1) and (2) use the fact that $Cov(x)= E[xx']-\mu\mu'$

3. Step (2) uses the fact that $Cov(\bar{x})= \frac{1}{n}\Sigma$

I guess one way to build intuition behind using 'n-1' and not 'n-2' is - that for calculating co-variance we do not need to de-mean both X and Y, but either of the two, i.e.

1) Start $df=2n$.

2) Sample covariance is proportional to $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$. Lose two $df$; one from $\bar{X}$, one from $\bar{Y}$ resulting in $df=2(n-1)$.

3) However, $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ only contains $n$ separate terms, one from each product. When two numbers are multiplied together the independent information from each separate number disappears.

As a trite example, consider that

$24=1*24=2*12=3*8=4*6=6*4=8*3=12*2=24*1$,

and that does not include irrationals and fractions, e.g. $24=2\sqrt{6}*2\sqrt{6}$, so that when we multiply two number series together and examine their product, all we see are the $df=n-1$ from one number series, as we have lost half of the original information, that is, what those two numbers were before the pair-wise grouping into one number (i.e., multiplication) was performed.

In other words, without loss of generality we can write

$(X_i-\bar{X})(Y_i-\bar{Y})=z_i-\bar{z}$ for some $z_i$ and $\bar{z}$,

i.e., $z_i=X_iY_i-\bar{X}Y_i-X_i\bar{Y}$, and, $\bar{z}=\bar{X}\bar{Y}$. From the $z$'s, which then clearly have $df=n-1$, the covariance formula becomes

$\Sigma_{i=1}^n\frac{z_i-\bar{z}}{n-1}=$

$\Sigma_{i=1}^n\frac{[(X_i-\bar{X})(Y_i-\bar{Y})]}{n-1}=$

$\frac{1}{n-1}\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$.

Thus, the answer to the question is that the $df$ are halved by grouping.