Para quais distribuições a não correlação implica independência?

Um lembrete consagrado nas estatísticas é "a falta de correlação não implica independência". Normalmente, esse lembrete é complementado com a afirmação psicologicamente reconfortante (e cientificamente correta) "quando, no entanto, as duas variáveis são normalmente distribuídas em conjunto , então a não correlação implica independência".

Eu posso aumentar a contagem de exceções felizes de uma para duas: quando duas variáveis são distribuídas por Bernoulli , novamente, a não correlação implica independência. Se e são dois Bermoulli rv, $X$ $Y$ , para o qual temos , e analogamente para , sua covariância é $X \sim B(q_x),\; Y \sim B(q_y)$ $P(X=1) = E(X) = q_x$ $Y$

Cov (X, Y) = E (X Y) - E (X) E (Y) = \sum_{S_{X Y}} p (x, y) x y - q_{x} q_{y}

$\operatorname{Cov}(X,Y)= E(XY) - E(X)E(Y) = \sum_{S_{XY}}p(x,y)xy - q_xq_y$

= P (X = 1, Y = 1) - q_{x} q_{y} = P (X = 1 ∣ Y = 1) P (Y = 1) - q_{x} q_{y}

$= P(X=1,Y=1) - q_xq_y = P(X=1\mid Y=1)P(Y=1)-q_xq_y$

= (P (X = 1 ∣ Y = 1) - q_{x}) q_{y}

$= \Big(P(X=1\mid Y=1)-q_x\Big)q_y$

Para a falta de correlação, exigimos que a covariância seja zero,

Cov (X, Y) = 0 \Rightarrow P (X = 1 ∣ Y = 1) = P (X = 1)

$\operatorname{Cov}(X,Y) = 0 \Rightarrow P(X=1\mid Y=1) = P(X=1)$

\Rightarrow P (X = 1, Y = 1) = P (X = 1) P (Y = 1)

$\Rightarrow P(X=1,Y=1) = P(X=1)P(Y=1)$

qual é a condição que também é necessária para que as variáveis sejam independentes.

Então, minha pergunta é: você conhece outras distribuições (contínuas ou discretas) para as quais a não correlação implica independência?

Significado: Assuma duas variáveis aleatórias que possuem distribuições marginais que pertencem à mesma distribuição (talvez com valores diferentes para os parâmetros de distribuição envolvidos), mas digamos com o mesmo suporte, por exemplo. duas exponenciais, duas triangulares, etc. Todas as soluções da equação $X,Y$ $\operatorname{Cov}(X,Y) = 0$ são tais que também implicam independência, em virtude da forma / propriedades das funções de distribuição envolvidas? É o caso dos marginais normais (dado também que eles têm uma distribuição normal bivariada), bem como dos marginais de Bernoulli - existem outros casos?

A motivação aqui é que geralmente é mais fácil verificar se a covariância é zero, em comparação com verificar se a independência se mantém. Portanto, se, dada a distribuição teórica, ao verificar a covariância, você também verificar a independência (como é o caso de Bernoulli ou caso normal), isso seria útil.
Se recebermos duas amostras de dois rvs que possuem marginais normais, sabemos que, se pudermos concluir estatisticamente a partir de amostras que sua covariância é zero, também podemos dizer que elas são independentes (mas apenas porque possuem marginais normais). Seria útil saber se poderíamos concluir o mesmo nos casos em que os dois rvs tivessem marginais que pertencessem a alguma outra distribuição.

probability distributions correlation mathematical-statistics independence Alecos Papadopoulos
fonte

Logicamente, não há dúvida aqui: considere qualquer par de variáveis independentes como a distribuição. Sejam ou não correlacionados, são independentes por decreto ! Você realmente precisa ser mais preciso sobre o que você quer dizer com "distribuição" e que tipo de respostas você achará útil.

whuber

@whuber Eu não entendo o seu comentário. I começar por uncorrelatedness e perguntar: "se eu posso provar que eles não estão correlacionados quando isso implica que eles também são independentes"? Como os dois resultados apresentados na pergunta dependem de os rv terem uma distribuição específica (normal ou Bernoulli), pergunto "existe outra distribuição conhecida para a qual, se as duas variáveis o seguirem, esse resultado será válido"?

Alecos Papadopoulos

Pegue quaisquer duas variáveis independentes

e deixe

ser sua distribuição.

é uma resposta válida para sua pergunta. Observe que você está pedindo para provar uma condicional, que por definição é verdadeira sempre que o consequente for verdadeira, não importa qual seja o valor de verdade de seu antecedente. Assim, pelas regras básicas da lógica, todas as distribuições de variáveis independentes são respostas para sua pergunta.

X, Y

$X,Y$

F

$F$

F

$F$

whuber

@Whuber, você está evidentemente certo. Adicionei algum texto relacionado à motivação para esta pergunta, que espero esclarecer qual foi minha motivação.

Alecos Papadopoulos

Com quais informações você começa quando toma essa decisão? A partir da formulação do seu exemplo, parece que você recebe o pdf marginal de cada variável e as informações de que cada par de variáveis não está correlacionado. Você decide se eles também são independentes. Isso é preciso?

probabilityislogic

"No entanto, se as duas variáveis são normalmente distribuídas, a falta de correlação implica independência" é uma falácia muito comum .

Isso só se aplica se eles são normalmente distribuídos em conjunto .

O contra-exemplo que eu vi com mais frequência é normal e Rademacher independente (então é 1 ou -1 com probabilidade 0,5 cada); então também é normal (claro ao considerar sua função de distribuição), (o problema aqui é mostrar por exemplo, iterando a expectativa em e observando que é $X \sim N(0,1)$ $Y$ $Z=XY$ $\operatorname{Cov}(X,Z)=0$ $\mathbb{E}(XZ)=0$ $Y$ $XZ$ $X^2$ ou me fornecerão informações sobre ). com probabilidade 0,5 cada) e é claro que as variáveis são dependentes (por exemplo, se eu sei que então ou , portanto, informações sobre $-X^2$ $X>2$ $Z>2$ $Z<-2$ $X$ $Z$

Também vale lembrar que as distribuições marginais não determinam exclusivamente a distribuição conjunta. Faça dois RVs reais e com CDFs marginais e . Então, para qualquer a função: $X$ $Y$ $F_X(x)$ $G_Y(y)$ $\alpha<1$

H_{X, Y} (x, y) = F_{X} (x) G_{Y} (y) (1 + α (1 - F_{X} (x)) (1 - F_{Y} (y)))

$H_{X,Y}(x,y)=F_X(x)G_Y(y)\left(1+\alpha\big(1-F_X(x)\big)\big(1-F_Y(y)\big)\right)$

será um CDF bivariado. (Para obter o marginal de tome o limite conforme vai para o infinito, onde Vice-versa para ) Claramente, selecionando valores diferentes de você pode obter diferentes distribuições conjuntas! $F_X(x)$ $H_{X,Y}(x,y)$ $y$ $F_Y(y)=1$ $Y$ $\alpha$

Silverfish
fonte

De fato. Eu esqueci a "junta".

Alecos Papadopoulos

@Alecos Como as distribuições marginais não determinam a distribuição conjunta em geral (apenas editei minha resposta para deixar isso claro), onde isso deixa sua pergunta?

Silverfish

@Alecos Acho que agora compreendo melhor a substância da questão: dadas duas distribuições marginais, há um conjunto infinito de possíveis distribuições conjuntas. Em que circunstâncias a imposição da condição de covariância zero nos deixa com apenas uma daquelas distribuições conjuntas ainda possíveis, a saber, aquela em que as variáveis aleatórias são independentes?

Silverfish

M_{X, Y} (s, t)

$M_{X,Y}(s,t)$

M_{X} (s) = M_{X, Y} (s, 0)

$M_X(s)=M_{X,Y}(s,0)$

M_{Y} (t) = M_{X, Y} (0, t)

$M_Y(t)=M_{X,Y}(0,t)$

\frac{\partial^{2}}{\partial s \partial t} M_{X, Y} (s, t) |_{s = 0, t = 0} = \frac{\partial}{\partial s} M_{X, Y} (s, t) |_{s = 0, t = 0} \cdot \frac{\partial}{\partial t} M_{X, Y} (s, t) |_{s = 0, t = 0}

$\frac{\partial^2}{\partial s \partial t}M_{X,Y}(s,t)|_{s=0,t=0} = \frac{\partial}{\partial s} M_{X,Y}(s,t)|_{s=0,t=0} \cdot \frac{\partial}{\partial t} M_{X,Y}(s,t)|_{s=0,t=0}$

M_{X, Y} (s, t) = M_{X, Y} (s, 0) \cdot M_{X, Y} (0, t)

$M_{X,Y}(s,t)=M_{X,Y}(s,0) \cdot M_{X,Y}(0,t)$

@ Silverman Gostaria de verificar o conceito de subindependência , en.wikipedia.org/wiki/Subindependence , para ver se esse problema pode ser formulado em termos de funções geradoras de momento.

Alecos Papadopoulos

Para quais distribuições a não correlação implica independência?

Respostas: