Limite para a correlação de três variáveis aleatórias

28

Existem três variáveis aleatórias, $x,y,z$ . As três correlações entre as três variáveis são as mesmas. Isso é,

ρ = cor (x, y) = cor (x, z) = cor (y, z)

$\rho=\textrm{cor}(x,y)=\textrm{cor}(x,z)=\textrm{cor}(y,z)$

Qual é o limite mais rígido que você pode dar para $\rho$ ?

correlation correlation-matrix user1352399
fonte

1

Presumivelmente por "pho", você quer dizer rho (

ρ

$\rho$ ). No entanto, sua pergunta não está clara. O que você quer dizer com "Qual é o limite mais forte que você pode dar"?

gung - Restabelece Monica

Bem, o nome da variável é apenas um manequim. Por limite mais restrito, quero dizer algo como [-1, 1] para uma correlação, mas esse claramente não é o limite mais restrito possível.

user1352399

Você quer dizer que rho = cor (x, y) = cor (x, z) = cor (y, z) e quais são os limites para rho?

user31264

Sim, quero dizer que rho = cor (x, y) = cor (x, z) = cor (y, z) e quais são os limites para rho. Dilip, você pode estender isso para dizer que rho deve ser não negativo, ou seja,> = 0?

user1352399

1

Um livro citar para isso é Seber & Lee "Análise de Regressão Linear" (Pelo menos era na primeira edição ...)

Kjetil b Halvorsen

29

A correlação comum pode ter valor mas não . Se , então não pode ser igual a mas é de fato . O menor valor da correlação comum de três variáveis aleatórias é $\rho$ $+1$ $-1$ $\rho_{X,Y}= \rho_{X,Z}=-1$ $\rho_{Y,Z}$ $-1$ $+1$ . De maneira mais geral, a correlação mínima comum devariáveis aleatórias é $-\frac{1}{2}$ $n$ quando, considerados como vetores, estão nos vértices de um simplex (da dimensão) noespaçodimensional. $-\frac{1}{n-1}$ $n-1$ $n$

Considere a variação da soma de variáveis aleatórias de variação unitária . Temos essa $n$ $X_i$ onde é ovalor médiodoscoeficientes de correlação. Mas como, obtemos facilmente esse

\begin{aligned} var (\sum_{i = 1}^{n} X_{i}) & = \sum_{i = 1}^{n} var (X_{i}) + \sum_{i = 1}^{n} \sum_{j \neq i}^{n} cov (X_{i}, X_{j}) \\ = n + \sum_{i = 1}^{n} \sum_{j \neq i}^{n} ρ_{X_{i}, X_{j}} \\ (1) & = n + n (n - 1) \bar{ρ} \end{aligned}

$\begin{align*} \operatorname{var}\left(\sum_{i=1}^n X_i\right) &= \sum_{i=1}^n \operatorname{var}(X_i) + \sum_{i=1}^n\sum_{j\neq i}^n \operatorname{cov}(X_i,X_j)\\ &= n + \sum_{i=1}^n\sum_{j\neq i}^n \rho_{X_i,X_j}\\ &= n + n(n-1)\bar{\rho} \tag{1} \end{align*}$

\bar{ρ}

$\bar{\rho}$

(\binom{n}{2})

$\binom{n}{2}$

var (\sum_{i} X_{i}) \geq 0

$\operatorname{var}\left(\sum_i X_i\right) \geq 0$

(1)

$(1)$

\bar{ρ} \geq - \frac{1}{n - 1} .

$\bar{\rho} \geq -\frac{1}{n-1}.$

Portanto, o valor médio de um coeficiente de correlação é pelo menos . Se todos os coeficientes de correlação tiverem o mesmo valor , sua média também será igual a e, portanto, temos esse É possível ter variáveis aleatórias para o qual a correlação valor comum é igual a ? Sim. Suponha que os sejam variáveis aleatórias de variação unitária não correlacionadas e defina . Então, , enquanto $-\frac{1}{n-1}$ $\rho$ $\rho$

ρ \geq - \frac{1}{n - 1} .

$\rho \geq -\frac{1}{n-1}.$

ρ

$\rho$

- \frac{1}{n - 1}

$-\frac{1}{n-1}$

X_{i}

$X_i$

Y_{i} = X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j} = X_{i} - \bar{X}

$Y_i = X_i - \frac{1}{n}\sum_{j=1}^n X_j = X_i -\bar{X}$

E [Y_{i}] = 0

$E[Y_i]=0$

var (Y_{i}) = {(\frac{n - 1}{n})}^{2} + (n - 1) {(\frac{1}{n})}^{2} = \frac{n - 1}{n}

$\displaystyle \operatorname{var}(Y_i) = \left(\frac{n-1}{n}\right)^2 + (n-1)\left(\frac{1}{n}\right)^2 = \frac{n-1}{n}$ e fornecendo Portanto, são variáveis aleatórias que atingem o valor mínimo de correlação comum de . Note, aliás, que e, portanto, consideradas como vetores, as variáveis aleatórias estão em um hiperplano dimensional de

cov (Y_{i}, Y_{j}) = - 2 (\frac{n - 1}{n}) (\frac{1}{n}) + (n - 2) {(\frac{1}{n})}^{2} = - \frac{1}{n}

$\operatorname{cov}(Y_i,Y_j) = -2\left(\frac{n-1}{n}\right)\left(\frac{1}{n}\right) + (n-2)\left(\frac{1}{n}\right)^2 = -\frac{1}{n}$

ρ_{Y_{i}, Y_{j}} = \frac{cov (Y_{i}, Y_{j})}{\sqrt{var (Y_{i}) var (Y_{j})}} = \frac{- 1 / n}{(n - 1) / n} = - \frac{1}{n - 1} .

$\rho_{Y_i,Y_j} = \frac{\operatorname{cov}(Y_i,Y_j)}{\sqrt{\operatorname{var}(Y_i)\operatorname{var}(Y_j)}} =\frac{-1/n}{(n-1)/n} = -\frac{1}{n-1}.$

Y_{i}

$Y_i$

- \frac{1}{n - 1}

$-\frac{1}{n-1}$

\sum_{i} Y_{i} = 0

$\sum_i Y_i = 0$

(n - 1)

$(n-1)$

n

$n$ espaço tridimensional.

Dilip Sarwate
fonte

25

O limite mais apertado possível é . $-1/2 \le \rho \le 1$ Todos esses valores podem realmente aparecer - nenhum é impossível.

Para mostrar que não há nada especialmente profundo ou misterioso sobre o resultado, essa resposta apresenta primeiro uma solução completamente elementar, exigindo apenas o fato óbvio de que as variações - sendo os valores esperados dos quadrados - devem ser não-negativas. Isto é seguido por uma solução geral (que usa fatos algébricos um pouco mais sofisticados).

Solução elementar

A variação de qualquer combinação linear de deve ser não negativa. $x,y,z$ Seja a variação dessas variáveis e , respectivamente. Todos são diferentes de zero (caso contrário, algumas das correlações não seriam definidas). Usando as propriedades básicas das variações, podemos calcular $\sigma^2, \tau^2,$ $\upsilon^2$

0 \leq Var (α x / σ + β y / τ + γ z / υ) = α^{2} + β^{2} + γ^{2} + 2 ρ (α β + β γ + γ α)

$0 \le \text{Var}(\alpha x/\sigma + \beta y/\tau + \gamma z/\upsilon) = \alpha^2 +\beta^2+\gamma^2 + 2\rho(\alpha\beta+\beta\gamma+\gamma\alpha)$

para todos os números reais . $(\alpha, \beta, \gamma)$

Supondo , um pouco de manipulação algébrica implica que isso é equivalente a $\alpha+\beta+\gamma\ne 0$

\frac{- ρ}{1 - ρ} \leq \frac{1}{3} {(\frac{\sqrt{(α^{2} + β^{2} + γ^{2}) / 3}}{(α + β + γ) / 3})}^{2} .

$\frac{-\rho}{1-\rho} \le \frac{1}{3} \left(\frac{\sqrt{(\alpha^2+\beta^2+\gamma^2)/3}}{(\alpha+\beta+\gamma)/3}\right)^2.$

O termo do quadrado no lado direito é a razão de duas médias de potência de . A desigualdade média da potência elementar (com pesos ) afirma que a razão não pode exceder (e será igual a quando ). Um pouco mais de álgebra implica $(\alpha, \beta, \gamma)$ $(1/3, 1/3, 1/3)$ $1$ $1$ $\alpha=\beta=\gamma\ne 0$

ρ \geq - 1 / 2.

$\rho \ge -1/2.$

O exemplo explícito de abaixo (envolvendo variáveis normais trivariadas ) mostra que todos esses valores, , realmente surgem como correlações. Este exemplo usa apenas a definição de normais multivariados, mas não invoca nenhum resultado de cálculo ou álgebra linear. $n=3$ $(x,y,z)$ $-1/2 \le \rho \le 1$

Solução geral

visão global

Qualquer matriz de correlação é a matriz de covariância das variáveis aleatórias padronizadas, de onde - como todas as matrizes de correlação - deve ser semi-definida positiva. Equivalentemente, seus valores próprios são não negativos. Isso impõe uma condição simples em : não deve ser inferior a (e, é claro, não pode exceder ). Inversamente, qualquer um desses na verdade corresponde à matriz de correlação de alguma distribuição trivariada, provando que esses limites são os mais rígidos possíveis. $\rho$ $-1/2$ $1$ $\rho$

Derivação das condições em $\rho$

Considere o por matriz de correlação com os valores de fora da diagonal igual a(A pergunta diz respeito ao caso mas essa generalização não é mais difícil de analisar.) Vamos chamá-lo de Por definição, é um autovalor desde que exista um vetor diferente de zero , de forma que $n$ $n$ $\rho.$ $n=3,$ $\mathbb{C}(\rho, n).$ $\lambda$ $\mathbf{x}_\lambda$

C (ρ, n) x_{λ} = λ x_{λ} .

$\mathbb{C}(\rho,n) \mathbf{x}_\lambda = \lambda \mathbf{x}_\lambda.$

Esses valores próprios são fáceis de encontrar no presente caso, porque

Permitindo , calcule isso $\mathbf{1} = (1, 1, \ldots, 1)'$

$C (ρ, n) 1 = (1 + (n - 1) ρ) 1 .$ $\mathbb{C}(\rho,n)\mathbf{1} = (1+(n-1)\rho)\mathbf{1}.$
Deixando com somente no lugar (para ), calcule isso $\mathbf{y}_j = (-1, 0, \ldots, 0, 1, 0, \ldots, 0)$ $1$ $j^\text{th}$ $j = 2, 3, \ldots, n$

$C (ρ, n) y_{j} = (1 - ρ) y_{j} .$ $\mathbb{C}(\rho,n)\mathbf{y}_j = (1-\rho)\mathbf{y}_j.$

Como os autovetores encontrados até o momento abrangem todo o espaço dimensional (prova: uma redução fácil de linha mostra o valor absoluto de seus determinantes iguais a , que é diferente de zero), eles constituem a base de todos os autovetores. Encontramos, portanto, todos os autovalores e determinamos que sejam ou (este último com multiplicidade ). Além da conhecida desigualdade satisfeita por todas as correlações, a não negatividade do primeiro valor próprio implica ainda mais $n$ $n$ $n$ $1+(n-1)\rho$ $1-\rho$ $n-1$ $-1 \le \rho \le 1$

ρ \geq - \frac{1}{n - 1}

$\rho \ge -\frac{1}{n-1}$

enquanto a não negatividade do segundo valor próprio não impõe novas condições.

Prova de suficiência das condições

As implicações funcionam em ambas as direções: desde a matriz é definida como não-negativa e, portanto, é uma matriz de correlação válida. É, por exemplo, a matriz de correlação para uma distribuição multinormal. Especificamente, escreva $-1/(n-1)\le \rho \le 1,$ $\mathbb{C}(\rho, n)$

Σ (ρ, n) = (1 + (n - 1) ρ) I_{n} - \frac{ρ}{(1 - ρ) (1 + (n - 1) ρ)} 1 1^{'}

$\Sigma(\rho, n) = (1 + (n-1)\rho)\mathbb{I}_n - \frac{\rho}{(1-\rho)(1+(n-1)\rho)}\mathbf{1}\mathbf{1}'$

para o inverso de quando Por exemplo, quando $\mathbb{C}(\rho, n)$ $-1/(n-1) \lt \rho \lt 1.$ $n=3$

Σ (ρ, 3) = \frac{1}{(1 - ρ) (1 + 2 ρ)} (\begin{array}{ccc} ρ + 1 & - ρ & - ρ \\ - ρ & ρ + 1 & - ρ \\ - ρ & - ρ & ρ + 1 \end{array}) .

$\color{gray}{\Sigma(\rho, 3) = \frac{1}{(1-\rho)(1+2\rho)} \left( \begin{array}{ccc} \rho +1 & -\rho & -\rho \\ -\rho & \rho +1 & -\rho \\ -\rho & -\rho & \rho +1 \\ \end{array} \right)}.$

Deixe o vetor de variáveis aleatórias ter função de distribuição $(X_1, X_2, \ldots, X_n)$

f_{ρ, n} (x) = \frac{\exp (- \frac{1}{2} x Σ (ρ, n) x^{'})}{(2 π)^{n / 2} {((1 - ρ)^{n - 1} (1 + (n - 1) ρ))}^{1 / 2}}

$f_{\rho, n}(\mathbf{x}) = \frac{\exp\left(-\frac{1}{2}\mathbf{x}\Sigma(\rho, n)\mathbf{x}'\right)}{(2\pi)^{n/2}\left((1-\rho)^{n-1}(1+(n-1)\rho)\right)^{1/2}}$

onde . Por exemplo, quando isso é igual a $\mathbf{x} = (x_1, x_2, \ldots, x_n)$ $n=3$

\frac{1}{\sqrt{(2 π)^{3} (1 - ρ)^{2} (1 + 2 ρ)}} \exp (- \frac{(1 + ρ) (x^{2} + y^{2} + z^{2}) - 2 ρ (x y + y z + z x)}{2 (1 - ρ) (1 + 2 ρ)}) .

$\color{gray}{\frac{1}{\sqrt{(2\pi)^{3}(1-\rho)^2(1+2\rho)}} \exp\left(-\frac{(1+\rho)(x^2+y^2+z^2) - 2\rho(xy+yz+zx)}{2(1-\rho)(1+2\rho)}\right)}.$

A matriz de correlação para essas variáveis aleatórias é $n$ $\mathbb{C}(\rho, n).$

Figura

Contornos das funções de densidade Da esquerda para a direita, . Observe como a densidade muda de concentrada perto do plano para concentrada perto da linha . $f_{\rho,3}.$ $\rho=-4/10, 0, 4/10, 8/10$ $x+y+z=0$ $x=y=z$

Os casos especiais e também podem ser realizados por distribuições degeneradas ; Não entrarei em detalhes, exceto para salientar que, no primeiro caso, a distribuição pode ser considerada suportada no hiperplano , onde é uma soma de significados distribuídos de forma idêntica Distribuição normal, enquanto no último caso (correlação positiva perfeita) ela é suportada na linha gerada por , onde tem uma distribuição média- Normal. $\rho = -1/(n-1)$ $\rho = 1$ $\mathbf{x}.\mathbf{1}=0$ $0$ $\mathbf{1}'$ $0$

Mais sobre a não degeneração

Uma revisão dessa análise deixa claro que a matriz de correlação tem uma classificação de e tem uma classificação de (porque apenas um vetor próprio possui um valor próprio diferente de zero). Para , isso torna a matriz de correlação degenerada em ambos os casos. Caso contrário, a existência de seu inverso prova que não é regenerado. $\mathbb{C}(-1/(n-1), n)$ $n-1$ $\mathbb{C}(1, n)$ $1$ $n\ge 2$ $\Sigma(\rho, n)$

whuber
fonte

20

Sua matriz de correlação é

(\begin{matrix} 1 & ρ & ρ \\ ρ & 1 & ρ \\ ρ & ρ & 1 \end{matrix})

$\begin{pmatrix} 1&\rho&\rho\\ \rho&1&\rho\\ \rho&\rho&1 \end{pmatrix}$

A matriz é positiva semidefinida se os principais menores principais não forem negativos. Os principais menores são os determinantes dos blocos "noroeste" da matriz, ou seja, 1, o determinante de

(\begin{matrix} 1 & ρ \\ ρ & 1 \end{matrix})

$\begin{pmatrix} 1&\rho\\ \rho&1\end{pmatrix}$

e o determinante da própria matriz de correlação.

1 é obviamente positivo, o segundo menor principal é , o que não é negativo para qualquer correlação admissível . O determinante de toda a matriz de correlação é $1-\rho^2$ $\rho\in[-1,1]$

2 ρ^{3} - 3 ρ^{2} + 1.

$2\rho^3-3\rho^2+1.$

O gráfico mostra o determinante da função no intervalo de correlações admissíveis . $[-1,1]$ insira a descrição da imagem aqui

Você vê que a função não é negativa no intervalo fornecido por @stochazesthai (que você também pode verificar encontrando as raízes da equação determinante).

Christoph Hanck
fonte

Não estamos assumindo na sua resposta que ? Por que nós podemos?

V a r () = 1

$Var( )=1$

Um velho no mar.

1

@Anold Você parece estar lendo "covariância" onde "correlação" está escrita.

whuber

6

Existem variáveis aleatórias , e com correlações aos pares se e somente se a matriz de correlação for semidefinida positiva. Isso acontece apenas para . $X$ $Y$ $Z$ $\rho_{XY} = \rho_{YZ} = \rho_{XZ} = \rho$ $\rho \in [-\frac{1}{2},1]$

stochazesthai
fonte

2

você pode explicar isso em termos muito simples?

Elizabeth Elizabeth Joseph #

1

Eu não acho que exista uma explicação que não exija o conhecimento de álgebra matricial. Eu sugiro que você olhe a página da Wikipedia ( en.wikipedia.org/wiki/… ).

precisa saber é o seguinte

4

Encontrei uma explicação que requer apenas álgebra básica (ensino médio) e a incluí na minha resposta.