Entendendo que

Acabei de ver esta pergunta e a maravilhosa resposta aceita neste fórum. Fui então desencadeado para tentar entender intuitivamente por que a divisão de $S_xS_y$ está normalizando a covariância:

$$\frac{\operatorname{COV}(X,Y)}{S_xS_y} \in [-1,1]$$

Eu acho que será útil Se eu apenas entender por que $S_xS_x$ normaliza o $\operatorname{COV}(X,X)$ como $1$ . Claro que entendo que, por definição, são iguais. Mas minha pergunta é basicamente a seguinte: usando a terminologia da resposta aceita, por que a soma total de vermelho no gráfico é exatamente $S_xS_x = \operatorname{VAR}(X)$ (mais preciso, tanto quanto eu entendo, é dizer a soma de os retângulos divididos por $n^2$ devem ser $\operatorname{VAR}(X)$ ). Quero dizer, se tirarmos amostra de$10$ observações, do que temos$45$ retângulos, enquanto usamos a definição, temos que encontrar a média de apenas$10$ valores.

Este post apresenta um método poderoso de raciocínio que evita uma grande quantidade de álgebra e cálculo. Para aqueles familiarizados com esse método, o trabalho é tão automático e natural que a resposta inicial de alguém a uma pergunta como essa é "é óbvio!" Mas talvez não seja tão óbvio até você ver o método. Portanto, todos os detalhes são explicados passo a passo.

fundo

Existem várias fórmulas para a variação dos dados (com média ˉ x = ( x 1 + ⋯ + x n ) / n ), incluindo$\mathbf{x}=x_1, x_2, \ldots, x_n$$\bar x = (x_1+\cdots + x_n)/n$

$$\operatorname{Var}(\mathbf{x}) = \frac{1}{n}\sum_{i=1}^n (x_i - \bar x)^2 = \frac{1}{n}\left(\sum_{i=1}^n x_i^2\right) - \bar x^2.\tag{1}$$

Isso determina a covariância dos dados emparelhados via$(x_1,y_1), \ldots, (x_n, y_n)$

$$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \frac{1}{4}\left(\operatorname{Var}(\mathbf{x}+\mathbf{y}) - \operatorname{Var}(\mathbf{x}-\mathbf{y})\right).$$

A fórmula implícita no posto de covariância com giz de cera mencionado é

$$C(\mathbf{x}, \mathbf{y}) = \sum_{i=1}^{n-1} \sum_{j=i+1}^n (x_j - x_i)(y_j - y_i) = \frac{1}{2}\sum_{i,j=1}^n (x_j - x_i)(y_j - y_i).\tag{2}$$

Esse post afirma que é proporcional à covariância. A constante de proporcionalidade c ( n ) pode (e faz) variar com n . Assim, quando x = y, uma implicação dessa afirmação é que$C$$c(n)$$n$$\mathbf{x}=\mathbf{y}$

$$C(\mathbf{x}, \mathbf{x}) = c(n) \operatorname{Var}(\mathbf{x}).$$

---

Análise

Embora isso possa ser demonstrado com álgebra de força bruta, existe uma maneira melhor: vamos explorar as propriedades fundamentais da covariância. Quais seriam essas propriedades? Eu gostaria de sugerir o seguinte é básico:

1. Independência de localização. Ou seja, para qualquer número a . (A expressão x - a refere-se ao conjunto de dados x 1 - a , x 2 - a , … , x n - a .)

   $$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \operatorname{Cov}(\mathbf{x}-\mathbf{a}, \mathbf{y})$$ $a$$\mathbf{x}-\mathbf{a}$$x_1-a, x_2-a, \ldots, x_n-a$

2. Multilinearidade. Isso implica para qualquer número λ . (A expressão λ x refere-se ao conjunto de dados λ x 1 , λ x 2 , … , λ x n .)

   $$\operatorname{Cov}(\lambda\,\mathbf{x}, \mathbf{y}) = \lambda\,\operatorname{Cov}(\mathbf{x}, \mathbf{y})$$ $\lambda$$\lambda\mathbf{x}$$\lambda x_1, \lambda x_2, \ldots, \lambda x_n$

3. Simetria. A covariância de e y é a covariância de y e x : Cov ( x , y ) = Cov ( y , x ) $\mathbf{x}$$\mathbf{y}$$\mathbf{y}$$\mathbf{x}$

   $$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) =\operatorname{Cov}(\mathbf{y}, \mathbf{x}).$$

4. $(x_i, y_i)$

   $$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \operatorname{Cov}(\mathbf{x}^\sigma, \mathbf{y}^\sigma)$$ $\sigma\in\mathfrak{S}_n$$\mathbf{x}^\sigma$$x_i$$\sigma$$\mathbf{x}^\sigma = x_{\sigma(1)}, x_{\sigma(2)}, \ldots, x_{\sigma(n)}.$

$\operatorname{Var}$$C$$(1)$$(2)$$x_i$

$$x_i - \bar{x} = (x_i - a) - \overline{x - a}$$

e

$$x_j - x_i = (x_j - a) - (x_i - a).$$

$(1)$$(2)$

---

Solução

$C$$c_{ij} = c_{ji}$

$$C(\mathbf{x}, \mathbf{y}) = \sum_{i, j=1}^n c_{ij}\, x_i y_j.$$

$c_{ij} = c_{i^\prime j^\prime}$$i,j,i^\prime,j^\prime$$i\ne j$$i^\prime \ne j^\prime$$c_{ii} = c_{i^\prime i^\prime}$$i$$i^\prime$$C$$c_{11}$$c_{12}$

$$0 = C(\mathbf{0},\mathbf{0}) \overset{\text{location-invariance}}{=} C(\mathbf{1},\mathbf{0}) \overset{\text{symmetry}}{=} C(\mathbf{0},\mathbf{1}) \overset{\text{location-invariance}}{=} C(\mathbf{1},\mathbf{1})$$

$\mathbf{0}$$\mathbf{1}$$n$

$$0=C(\mathbf{1},\mathbf{1}) = \sum_{i,j}^n c_{ij} = nc_{11} + (n^2-n)c_{12},$$ $c_{11}$$c_{12}$

$C$$\operatorname{Cov}$$(1)$$(2)$$x_1^2$$c_{11}$$(1)$$x_1^2$$1/n - (1/n)^2$$(2)$$\mathbf{y} = \mathbf{x}$$x_1^2$$n-1$$(\mathbf{x},\mathbf{x})$$n-1$$n-1$

$$c(n) = \frac{n-1}{1/n - (1/n)^2} = n^2,$$

QED . Este foi o único cálculo necessário para demonstrar

$$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \frac{1}{n^2}C(\mathbf{x}, \mathbf{y}) = \frac{1}{n^2}\sum_{i=1}^{n-1} \sum_{j=i+1}^n (x_j - x_i)(y_j - y_i).$$