A soma e o produto de duas matrizes de covariância também são uma matriz de covariância?

Suponhamos que temos covariância matrizes e . Quais dessas opções também são matrizes de covariância?$X$$Y$

1. $X+Y$
2. $X^2$
3. $XY$

---

Tenho um pouco de dificuldade para entender o que exatamente é necessário para que algo seja uma matriz de covariância. Suponho que isso significa que, por exemplo, se e que, para 1 ser verdadeiro, devemos ter esse , onde e algumas outras variáveis aleatórias. No entanto, não vejo por que isso se aplica a qualquer uma das três opções. Qualquer insight seria apreciado.$X=\operatorname{cov}(X_1,X_2)$$Y=\operatorname{cov}(Y_1,Y_2)$$\operatorname{cov}(X_1,X_2) + \operatorname{cov}(Y_1,Y_2) = \operatorname{cov}(Z_1, Z_2)$$Z_1$$Z_2$

fundo

Uma matriz de covariância para um vetor de variáveis ​​aleatórias incorpora um procedimento para calcular a variação de qualquer combinação linear dessas variáveis ​​aleatórias. A regra é que, para qualquer vetor de coeficientes ,$\mathbb{A}$$X=(X_1, X_2, \ldots, X_n)^\prime$$\lambda = (\lambda_1, \ldots, \lambda_n)$

$$\operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.\tag{1}$$

Em outras palavras, as regras de multiplicação de matrizes descrevem as regras de variâncias.

Duas propriedades de são imediatas e óbvias:$\mathbb{A}$

1. Como as variações são expectativas de valores ao quadrado, elas nunca podem ser negativas. Assim, para todos os vetores ,As matrizes de covariância devem ser não-negativas-definidas.$\lambda$

   $$0 \le \operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.$$

2. As variações são apenas números - ou, se você ler as fórmulas da matriz literalmente, são matriz. Assim, eles não mudam quando você os transpõe. A transposição fornece Como isso é válido para todos os , deve ser igual à sua transposição : matrizes de covariância devem ser simétricas.$1\times 1$$(1)$

   $$\lambda \mathbb{A} \lambda ^\prime = \operatorname{Var}(\lambda X) = \operatorname{Var}(\lambda X) ^\prime = \left(\lambda \mathbb{A} \lambda ^\prime\right)^\prime = \lambda \mathbb{A}^\prime \lambda ^\prime.$$ $\lambda$$\mathbb{A}$$\mathbb{A}^\prime$

O resultado mais profundo é que qualquer matriz simétrica não negativa definida é uma matriz de covariância. $\mathbb{A}$ Isso significa que realmente existe alguma variável aleatória com valor vetorial com como covariância. Podemos demonstrar isso construindo explicitamente . Uma maneira é notar que a função de densidade (multivariada) com a propriedade possui por sua covariância. (Alguma delicadeza é necessária quando não é invertível - mas isso é apenas um detalhe técnico.)$X$$\mathbb{A}$$X$$f(x_1,\ldots, x_n)$

$$\log(f) \propto -\frac{1}{2} (x_1,\ldots,x_n)\mathbb{A}^{-1}(x_1,\ldots,x_n)^\prime$$ $\mathbb{A}$$\mathbb{A}$

Soluções

Sejam e matrizes de covariância. Obviamente eles são quadrados; e se a soma deles tiver algum sentido, eles devem ter as mesmas dimensões. Precisamos apenas verificar as duas propriedades.$\mathbb{X}$$\mathbb{Y}$

1. A soma.

   • Simetria exibida a soma é simétrica. $$(\mathbb{X}+\mathbb{Y})^\prime = \mathbb{X}^\prime + \mathbb{Y}^\prime = (\mathbb{X} + \mathbb{Y})$$
   • Definitividade não negativa. Seja qualquer vetor. Então prova o ponto usando propriedades básicas da multiplicação de matrizes.$\lambda$ $$\lambda(\mathbb{X}+\mathbb{Y})\lambda^\prime = \lambda \mathbb{X}\lambda^\prime + \lambda \mathbb{Y}\lambda^\prime \ge 0 + 0 = 0$$

2. Deixo isso como um exercício.

3. Este é complicado. Um método que eu uso para pensar em problemas de matriz desafiadores é fazer alguns cálculos com matrizes. Existem algumas matrizes de covariância comuns e comuns desse tamanho, como com e . A preocupação é que possa não ser definitivo: isto é, poderia produzir um valor negativo ao calcular uma variação? Se assim for, é melhor termos alguns coeficientes negativos na matriz. Isso sugere considerar para . Para obter algo interessante, podemos gravitar inicialmente para matrizes$2\times 2$

   $$\pmatrix{a & b \\ b & a}$$ $a^2 \ge b^2$$a \ge 0$$\mathbb{XY}$ $$\mathbb{X} = \pmatrix{a & -1 \\ -1 & a}$$ $a \ge 1$$\mathbb{Y}$ com estruturas de aparência diferente. Matrizes diagonais vêm à mente, como com . (Observe como podemos escolher livremente alguns dos coeficientes, como e , porque podemos redimensionar todas as entradas em qualquer matriz de covariância sem alterar suas propriedades fundamentais. Isso simplifica a busca de exemplos interessantes.) $$\mathbb{Y} = \pmatrix{b & 0 \\ 0 & 1}$$ $b\ge 0$$-1$$1$

   Deixo para você calcular e testar se sempre é uma matriz de covariância para quaisquer valores permitidos de e .$\mathbb{XY}$$a$$b$

Uma matriz real é uma matriz de covariância se, e somente se, é semi-definida positiva simétrica.

Dicas:

1) Se e são simétricos, simétrico? Se para qualquer e para qualquer , o que você pode concluir sobre ?$X$$Y$$X+Y$$z^TX z \ge 0$$z$$z^TY z \ge 0$$z$$z^T(X+Y)z$

2) Se é simétrico, simétrico? Se os autovalores de são não negativos, o que você pode concluir sobre os autovalores de ?$X$$X^2$$X$$X^2$

3) Se e são simétricos, você pode concluir que é simétrico ou pode encontrar um contra-exemplo?$X$$Y$$XY$