A centralização significa reduzir a covariância?

11

Assumindo que tenho duas variáveis aleatórias não independentes e que desejo reduzir a covariância entre elas o máximo possível, sem perder muito "sinal", significa centralizar a ajuda? Eu li em algum lugar que a centralização média reduz a correlação por um fator significativo, então acho que deve fazer o mesmo com a covariância.

correlation covariance random-vector lvdp
fonte

30

Se e são variáveis aleatórias e e são constantes, então centragem é o caso especial de e , de modo centragem não afectar covariância. $X$ $Y$ $a$ $b$

\begin{aligned} Cov (X + a, Y + b) & = E [(X + a - E [X + a]) (Y + b - E [Y + b])] \\ = E [(X + a - E [X] - E [a]) (Y + b - E [Y] - E [b])] \\ = E [(X + a - E [X] - a) (Y + b - E [Y] - b)] \\ = E [(X - E [X]) (Y - E [Y])] \\ = Cov (X, Y) . \end{aligned}

$\begin{aligned} \operatorname{Cov}(X + a, Y + b) &= E[(X + a - E[X + a])(Y + b - E[Y + b])] \\ &= E[(X + a - E[X] - E[a])(Y + b - E[Y] - E[b])] \\ &= E[(X + a - E[X] - a)(Y + b - E[Y] - b)] \\ &= E[(X - E[X])(Y - E[Y])] \\ &= \operatorname{Cov}(X, Y). \end{aligned}$

a = - E [X]

$a = -E[X]$

b = - E [Y]

$b = -E[Y]$

Além disso, como a correlação é definida como podemos ver que portanto, a correlação também não é afetada pela centralização.

Corr (X, Y) = \frac{Cov (X, Y)}{\sqrt{Var (X) Var (Y)}},

$\operatorname{Corr}(X, Y) = \frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}(X) \operatorname{Var}(Y)}},$

\begin{aligned} Corr (X + a, Y + b) & = \frac{Cov (X + a, Y + b)}{\sqrt{Var (X + a) Var (Y + b)}} \\ = \frac{Cov (X, Y)}{\sqrt{Var (X) Var (Y)}}, \end{aligned}

$\begin{aligned} \operatorname{Corr}(X + a, Y + b) &= \frac{\operatorname{Cov}(X + a, Y + b)}{\sqrt{\operatorname{Var}(X + a) \operatorname{Var}(Y + b)}} \\ &= \frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}(X) \operatorname{Var}(Y)}}, \end{aligned}$

Essa era a versão populacional da história. A versão de exemplo é a mesma: Se usarmos como nossa estimativa de covariância entre e de uma amostra emparelhada , em seguida,

\hat{Cov} (X, Y) = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j}) (Y_{i} - \frac{1}{n} \sum_{j = 1}^{n} Y_{j})

$\widehat{\operatorname{Cov}}(X, Y) = \frac{1}{n} \sum_{i=1}^n \left(X_i - \frac{1}{n}\sum_{j=1}^n X_j\right)\left(Y_i - \frac{1}{n}\sum_{j=1}^n Y_j\right)$

X

$X$

Y

$Y$

(X_{1}, Y_{1}), \dots, (X_{n}, Y_{n})

$(X_1,Y_1), \ldots, (X_n,Y_n)$

\begin{aligned} \hat{Cov} (X + a, Y + b) & = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} + a - \frac{1}{n} \sum_{j = 1}^{n} (X_{j} + a)) (Y_{i} + b - \frac{1}{n} \sum_{j = 1}^{n} (Y_{j} + b)) \\ = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} + a - \frac{1}{n} \sum_{j = 1}^{n} X_{j} - \frac{n}{n} a) (Y_{i} + b - \frac{1}{n} \sum_{j = 1}^{n} Y_{j} - \frac{n}{n} b) \\ = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j}) (Y_{i} - \frac{1}{n} \sum_{j = 1}^{n} Y_{j}) \\ = \hat{Cov} (X, Y) \end{aligned}

$\begin{aligned} \widehat{\operatorname{Cov}}(X + a, Y + b) &= \frac{1}{n} \sum_{i=1}^n \left(X_i + a - \frac{1}{n}\sum_{j=1}^n (X_j + a)\right)\left(Y_i + b - \frac{1}{n}\sum_{j=1}^n (Y_j + b)\right) \\ &= \frac{1}{n} \sum_{i=1}^n \left(X_i + a - \frac{1}{n}\sum_{j=1}^n X_j - \frac{n}{n} a\right)\left(Y_i + b - \frac{1}{n}\sum_{j=1}^n Y_j - \frac{n}{n} b\right) \\ &= \frac{1}{n} \sum_{i=1}^n \left(X_i - \frac{1}{n}\sum_{j=1}^n X_j\right)\left(Y_i - \frac{1}{n}\sum_{j=1}^n Y_j\right) \\ &= \widehat{\operatorname{Cov}}(X, Y) \end{aligned}$ para qualquer e .

a

$a$

b

$b$

Artem Mavrin
fonte

Obrigado pela resposta detalhada. Isso significa que, para a covariância da amostra, o tamanho da amostra também não tem impacto? isto é, reduzir o tamanho da amostra não reduz a covariância da amostra?

lvdp 11/02/19

3

@ lvdp Essa provavelmente deve ser uma pergunta separada.

Acumulação

Um tamanho de amostra reduzido só pode vir com uma amostra diferente. Uma amostra diferente pode mostrar covariância diferente, portanto. Porém, como a covariância da amostra é definida como uma média, o tamanho da amostra é dimensionado em princípio.

Nick Cox

5

A definição da covariância de e é . A expressão em que a fórmula é a versão centrado de . Então, nós já centralizamos o quando assumimos a covariância, e a centralização é um operador idempotente; uma vez que uma variável é centralizada, a aplicação do processo de centralização mais vezes não a altera. Se a fórmula não adotasse as versões centralizadas das variáveis, haveria todos os tipos de efeitos estranhos, como a covariância entre temperatura e outra variável sendo diferente dependendo se medimos a temperatura em graus Celsius ou Kelvin. $X$ $Y$ $E[(X-E[X])(Y-E[Y])]$ $X-E[X]$ $X$ $X$

Acumulação
fonte

3

"em algum lugar" tende a ser uma fonte pouco confiável ...

Covariância / correlação são definidas com centralização explícita . Se você não centralizar os dados, não estará computando covariância / correlação. (Precisamente: correlação de Pearson)

A principal diferença é se você centraliza com base em um modelo teórico (por exemplo, o valor esperado deve ser exatamente 0) ou com base nos dados (média aritmética). É fácil ver que a média aritmética produzirá covariância menor do que qualquer outro centro.

No entanto, covariância menor não implica menor correlação, ou o contrário. Suponha que temos os dados X = (1,2) e Y = (2,1). É fácil ver que, com a média aritmética centralizada, isso produzirá uma correlação perfeitamente negativa, enquanto que se soubermos que o processo de geração produz 0 em média, os dados são realmente correlacionados positivamente. Portanto, neste exemplo, estamos centralizando - mas com o valor teórico esperado de 0.

Isso pode surgir facilmente. Considere que temos uma matriz de sensores, 11x11, com as células numeradas de -5 a +5. Em vez de assumir a média aritmética, faz sentido usar a média "física" de nossa matriz de sensores aqui ao procurar a correlação de eventos do sensor (se enumerássemos as células de 0 a 10, usaríamos 5 como média fixa, e obteríamos exatamente os mesmos resultados, para que a escolha da indexação desapareça da análise - bom).

Possui QUIT - Anony-Mousse
fonte

Obrigado @ Anony-Mousse, a covariância da amostra dependerá do tamanho da amostra? Ou seja, um tamanho de amostra menor produzirá covariância menor (antes da centralização).

lvdp 11/02/19

11

Depende da amostra obviamente. Em média - eu não sei. Eu esperaria que amostras menores tivessem mais variabilidade principalmente, então talvez mais frequentemente valores extremos. Mas isso é apenas uma intuição.

Quit - Anony-Mousse 12/02/19

A centralização significa reduzir a covariância?

Respostas: