Como você explicaria a diferença entre correlação e covariância?

Seguindo essa pergunta, como você explicaria a covariância para alguém que entende apenas a média? , que aborda a questão de explicar a covariância a uma pessoa leiga, levantou uma questão semelhante em minha mente.

Como alguém explicaria a um neófito estatístico a diferença entre covariância e correlação ? Parece que ambos se referem à mudança em uma variável vinculada a outra variável.

Semelhante à questão referida, seria preferível a falta de fórmulas.

O problema das covariâncias é que elas são difíceis de comparar: quando você calcula a covariância de um conjunto de alturas e pesos, conforme expresso em (respectivamente) metros e quilogramas, você obtém uma covariância diferente de quando o faz em outras unidades ( que já causa um problema para as pessoas que fazem a mesma coisa com ou sem o sistema métrico!), mas também será difícil dizer se (por exemplo) altura e peso 'covaria mais' do que, digamos, o comprimento dos dedos dos pés e das mãos , simplesmente porque a 'escala' em que a covariância é calculada é diferente.

A solução para isso é 'normalizar' a covariância: você divide a covariância por algo que representa a diversidade e a escala em ambas as covariáveis ​​e acaba com um valor que é garantido entre -1 e 1: a correlação. Qualquer que seja a unidade em que suas variáveis ​​originais estivessem, você sempre obterá o mesmo resultado, e isso também garantirá que você possa, até certo ponto, comparar se duas variáveis ​​'correlacionam' mais de duas outras, simplesmente comparando a correlação delas.

Nota: o exposto acima pressupõe que o leitor já entenda o conceito de covariância.

Os requisitos desses tipos de perguntas me parecem um pouco bizarros. Aqui está um conceito / fórmula matemática , mas quero falar sobre isso em algum contexto completamente desprovido de símbolos matemáticos. Eu também acho que deveria ser afirmado que a álgebra real necessária para entender as fórmulas, eu pensaria, deveria ser ensinada à maioria das pessoas antes do ensino superior (não é necessário entender a álgebra matricial, apenas álgebra simples será suficiente).

Portanto, a princípio, em vez de ignorar completamente a fórmula e falar sobre ela em alguns tipos de analogias mágicas e heurísticas, vamos apenas olhar para a fórmula e tentar explicar os componentes individuais em pequenos passos. A diferença em termos de covariância e correlação, ao examinar as fórmulas, deve ficar clara. Considerando que, falando em termos de analogias e heurísticas, suspeito que ocultem dois conceitos relativamente simples e suas diferenças em muitas situações.

Então, vamos começar com uma fórmula para a covariância da amostra (que acabei de pegar e adotar na wikipedia);

$\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})$

Para manter todos atualizados, vamos definir explicitamente todos os elementos e operações na fórmula.

• e y i são medidas de dois atributos separados da mesma observação$x_i$$y_i$
• e ˉ y são os meios (ou média) de cada atributo$\bar{x}$$\bar{y}$
• Para , digamos que isso significa que dividimos o resultado final porn-1.$\frac{1}{n-1}$${n-1}$
• pode ser um símbolo estranho para alguns, por isso provavelmente seria útil para explicar esta operação. É simplesmente a soma de todos os i separar observações, e n representa o número total de observações.$\sum_{i=1}^{n}$$i$$n$

Neste ponto, eu poderia apresentar um exemplo simples, para colocar um rosto nos elementos e operações, por assim dizer. Então, por exemplo, vamos criar uma tabela, em que cada linha corresponde a uma observação (e e y são rotulados adequadamente). É provável que esses exemplos sejam mais específicos (por exemplo, digamos que x representa idade e y representa peso), mas, para nossa discussão aqui, isso não deve importar.$x$$y$$x$$y$

x y
---
2 5
4 8
9 3
5 6
0 8

Nesse ponto, se você sentir que a operação de soma na fórmula pode não ter sido totalmente compreendida, é possível apresentá-la novamente em um contexto muito mais simples. Diga apenas apresente que é o mesmo que dizer neste exemplo;$\sum_{i=1}^{n}(x_i)$

  x
 --
  2
  4
  9
  5
+ 0
 --
 20

Agora que bagunça deve ser esclarecido, e podemos trabalhar nosso caminho para a segunda parte da fórmula, . Agora, supondo que as pessoas já sabem que a média, ˉ x e ° y representam, e eu diria que, sendo hipócrita dos meus próprios comentários no início do post, pode-se apenas se referem à média em termos de heurísticas simples (por exemplo, no meio da distribuição). Pode-se então apenas executar esse processo, uma operação de cada vez. A declaração ( x i - ˉ x$(x_i-\bar{x})(y_i-\bar{y})$$\bar{x}$$\bar{y}$$(x_i-\bar{x})$está apenas examinando os desvios / distâncias entre cada observação e a média de todas as observações para esse atributo específico. Portanto, quando uma observação estiver mais distante da média, essa operação receberá um valor mais alto. Pode-se então voltar à tabela de exemplo fornecida e simplesmente demonstrar a operação no vetor das observações.$x$

x x_bar (x - x_bar)
2 4     -2
4 4      0
9 4      5
5 4      1
0 4     -4

A operação é a mesma para o vetor , mas apenas para reforço, você também pode apresentar essa operação.$y$

y y_bar (y - y_bar)
5  6     -1
8  6      2
3  6     -3
6  6      0
8  6      2

$(x_i-\bar{x})$$(y_i-\bar{y})$$(x_i-\bar{x})\cdot(y_i-\bar{y})$

Observe o que acontece ao multiplicar, se duas observações estiverem a uma grande distância acima da média, a observação resultante terá um valor positivo ainda maior (o mesmo acontece se as duas observações estiverem a uma grande distância abaixo da média, como multiplicar dois negativos é igual a positivo). Observe também que se uma observação estiver alta acima da média e a outra estiver bem abaixo da média, o valor resultante será grande (em termos absolutos) e negativo (como um tempo positivo, um negativo é igual a um número negativo). Por fim, observe que, quando um valor estiver muito próximo da média para qualquer observação, multiplicar os dois valores resultará em um número pequeno. Novamente, podemos apenas apresentar esta operação em uma tabela.

(x - x_bar) (y - y_bar)  (x - x_bar)*(y - y_bar)
-2             -1                2
 0              2                0  
 5             -3              -15 
 1              0                0
-4              2               -8

$n-1$

(x - x_bar)*(y - y_bar)
-----------------------
   2
   0
 -15
   0
+ -8
-----
 -21

-21/(5-1) = -5.25

Nesse ponto, convém reforçar de onde os 5 vêm, mas isso deve ser tão simples quanto voltar à tabela e contar o número de observações (vamos deixar novamente a diferença entre amostra e população para outra hora).

$\rho$

$\rho = \frac{Cov(x,y)}{\sqrt{Var(x)Var(y)}}$

$Cov(x,x) = Var(x)$) E todos os mesmos conceitos que você introduziu com a covariância se aplicam (ou seja, se uma série tiver muitos valores muito longe de sua média, ela terá uma alta variação). Talvez observe aqui que uma série também não pode ter uma variação negativa (que deve logicamente seguir a matemática apresentada anteriormente).

$Var(x)Var(y)$$\sqrt{Var(x)Var(y)}$

Entendo que, em algumas circunstâncias, esse nível de tratamento não seria apropriado. O Senado precisa do resumo executivo . Nesse caso, bem, você pode se referir às heurísticas simples que as pessoas têm usado em outros exemplos, mas Roma não foi construída em um dia. E ao senado que pede o resumo executivo, se você tiver tão pouco tempo, talvez deva apenas aceitar minha palavra e dispensar as formalidades de analogias e pontos de bala.

$\sqrt{Var[x]Var[y]}$

Ou seja, a correlação é simplesmente uma representação de covariância, portanto o resultado deve ficar entre -1 (perfeitamente inversamente correlacionado) e +1 (perfeitamente correlacionado positivamente), observando que um valor próximo de zero significa que duas variáveis ​​não estão correlacionadas.

A covariância é ilimitada e carece de um contexto quando comparada a outras covariâncias. Ao normalizar / ajustar / padronizar as covariâncias em uma correlação, os conjuntos de dados podem ser comparados mais facilmente.

Como você pode imaginar, existem diferentes maneiras pelas quais uma estatística (como covariância) pode ser normalizada / padronizada. A fórmula matemática para a relação entre correlação e covariância reflete simplesmente o uso de estatísticos da convenção (ou seja, ajustando de acordo com seus desvios-padrão):

Se você está familiarizado com a idéia de centralizar e padronizar, x-xbar é centralizar x em sua média. O mesmo se aplica a y. Portanto, a covariância simplesmente centraliza os dados. A correlação, no entanto, não apenas centraliza os dados, mas também escala usando o desvio padrão (padronizar). A multiplicação e a soma são o produto escalar dos dois vetores e mostra como paralelo esses dois vetores se comparam (a projeção de um vetor no outro). A divisão de (n-1) ou o valor esperado é escalonado para o número de observações. Pensamentos?

Tanto quanto eu entendi. Correlação é uma versão "normalizada" da covariância.

A correlação é dimensionada para ficar entre -1 e +1, dependendo da existência de correlação positiva ou negativa, e é adimensional. A covariância, no entanto, varia de zero, no caso de duas variáveis ​​independentes, a Var (X), no caso em que os dois conjuntos de dados são iguais. As unidades de COV (X, Y) são as unidades de X vezes as unidades de Y.