Alguém pode ilustrar como pode haver dependência e covariância zero?

Alguém pode ilustrar, como Greg faz, mas com mais detalhes, como variáveis ​​aleatórias podem ser dependentes, mas têm covariância zero? Greg, um pôster aqui, dá um exemplo usando um círculo aqui .

Alguém pode explicar esse processo com mais detalhes usando uma sequência de etapas que ilustram o processo em várias etapas?

Além disso, se você souber de um exemplo da psicologia, ilustre com esse conceito com um exemplo relacionado. Seja muito preciso e sequencial em sua explicação e também indique quais podem ser algumas das consequências.

A idéia básica aqui é que a covariância mede apenas um tipo particular de dependência ; portanto, os dois não são equivalentes. Especificamente,

• A covariância é uma medida da linearidade entre duas variáveis. Se duas variáveis ​​não forem linearmente relacionadas, isso não será refletido na covariância. Uma descrição mais detalhada pode ser encontrada aqui .

• A dependência entre variáveis ​​aleatórias refere-se a qualquer tipo de relacionamento entre os dois que os faça agir diferentemente "juntos" do que "sozinhos". Especificamente, a dependência entre variáveis ​​aleatórias implica qualquer relação entre as duas que faz com que sua distribuição conjunta não seja o produto de suas distribuições marginais. Isso inclui relacionamentos lineares e muitos outros.

• Se duas variáveis ​​são não linearmente relacionadas, elas podem potencialmente ter 0 covariância, mas ainda são dependentes - muitos exemplos são dados aqui e este gráfico abaixo da wikipedia fornece alguns exemplos gráficos na linha inferior:

  

• Um exemplo em que covariância zero e independência entre variáveis ​​aleatórias são condições equivalentes é quando as variáveis ​​são normalmente distribuídas em conjunto (ou seja, as duas variáveis ​​seguem uma distribuição normal bivariada , que não é equivalente às duas variáveis ​​sendo normalmente distribuídas individualmente). Outro caso especial é que os pares de variáveis ​​bernoulli não são correlacionados se e somente se forem independentes (obrigado @ cardinal). Mas, em geral, os dois não podem ser considerados equivalentes.

Portanto, não se pode concluir, em geral, que duas variáveis ​​são independentes apenas porque parecem não correlacionadas (por exemplo, não deixaram de rejeitar a hipótese nula de não correlação). É aconselhável plotar dados para inferir se os dois estão relacionados, não apenas parando em um teste de correlação. Por exemplo, (obrigado @gung), se alguém executar uma regressão linear (por exemplo, testar uma correlação diferente de zero) e encontrar um resultado não significativo, poderá ficar tentado a concluir que as variáveis ​​não estão relacionadas, mas você ' investigamos apenas uma relação linear .

Eu não sei muito sobre psicologia, mas faz sentido que possa haver relações não lineares entre variáveis ​​lá. Como um exemplo de brinquedo, parece possível que a capacidade cognitiva não esteja linearmente relacionada à idade - pessoas muito jovens e muito velhas não são tão afiadas quanto uma pessoa de 30 anos. Se alguém traçar alguma medida da capacidade cognitiva versus idade, pode-se esperar que a capacidade cognitiva seja mais alta em uma idade moderada e decaia em torno disso, o que seria um padrão não linear.

Uma maneira padrão de ensinar / visualizar uma correlação ou covariância é plotar os dados, desenhar linhas na média de 'x' e 'y', depois desenhar retângulos do ponto das 2 médias para os pontos de dados individuais, assim:

Os retângulos (pontos) nos quadrantes superior direito e inferior esquerdo (vermelho no exemplo) contribuem com valores positivos para a correlação / covariância, enquanto os retângulos (pontos) nos quadrantes superior esquerdo e inferior direito (azul no exemplo) contribuem com valores negativos valores à correlação / covariância. Se a área total dos retângulos vermelhos for igual à área total dos retângulos azuis, os pontos positivos e negativos serão cancelados e você terá uma covariância zero. Se houver mais área no vermelho, a covariância será positiva e se houver mais área no azul, a covariância será negativa.

Agora vamos ver um exemplo da discussão anterior:

Os pontos individuais seguem uma parábola, então eles são dependentes, se você souber 'x', você saberá exatamente 'y', mas também poderá ver que para cada retângulo vermelho existe um retângulo azul correspondente, portanto a covariância final será 0 .

Um teste simples se, se os dados estiverem basicamente seguindo um padrão simétrico em torno de um eixo vertical ou horizontal através das médias, a covariância será bem próxima de zero. Por exemplo, se a simetria está em torno do eixo y, significa que para cada valor com um dado y, há uma diferença x positiva da média x e uma diferença negativa da média x. A adição de y * x para esses valores será zero. Você pode ver isso bem ilustrado na coleção de gráficos de exemplo nas outras respostas. Existem outros padrões que produziriam uma co-variância zero, mas não a independência, mas muitos exemplos são facilmente avaliados procurando simetria ou não.

Um exemplo da Wikipedia :

"Se as variáveis ​​são independentes, o coeficiente de correlação de Pearson é 0, mas o inverso não é verdadeiro porque o coeficiente de correlação detecta apenas dependências lineares entre duas variáveis. Por exemplo, suponha que a variável aleatória X seja simetricamente distribuída em torno de zero e Y = X ^ 2. Então Y é completamente determinado por X, de modo que X e Y são perfeitamente dependentes, mas sua correlação é zero; eles não são correlacionados. No entanto, no caso especial quando X e Y são conjuntamente normais, a correlação é equivalente à independência. "