A soma e o produto de duas matrizes de covariância também são uma matriz de covariância?

12

Suponhamos que temos covariância matrizes e . Quais dessas opções também são matrizes de covariância?XY

  1. X+Y
  2. X2
  3. XY

Tenho um pouco de dificuldade para entender o que exatamente é necessário para que algo seja uma matriz de covariância. Suponho que isso significa que, por exemplo, se e que, para 1 ser verdadeiro, devemos ter esse , onde e algumas outras variáveis aleatórias. No entanto, não vejo por que isso se aplica a qualquer uma das três opções. Qualquer insight seria apreciado.X=cov(X1,X2)Y=cov(Y1,Y2)cov(X1,X2)+cov(Y1,Y2)=cov(Z1,Z2)Z1Z2

rbm
fonte

Respostas:

12

fundo

Uma matriz de covariância para um vetor de variáveis ​​aleatórias incorpora um procedimento para calcular a variação de qualquer combinação linear dessas variáveis ​​aleatórias. A regra é que, para qualquer vetor de coeficientes ,AX=(X1,X2,,Xn)λ=(λ1,,λn)

(1)Var(λX)=λAλ.

Em outras palavras, as regras de multiplicação de matrizes descrevem as regras de variâncias.

Duas propriedades de são imediatas e óbvias:A

  1. Como as variações são expectativas de valores ao quadrado, elas nunca podem ser negativas. Assim, para todos os vetores ,As matrizes de covariância devem ser não-negativas-definidas.λ

    0Var(λX)=λAλ.
  2. As variações são apenas números - ou, se você ler as fórmulas da matriz literalmente, são matriz. Assim, eles não mudam quando você os transpõe. A transposição fornece Como isso é válido para todos os , deve ser igual à sua transposição : matrizes de covariância devem ser simétricas.1×1(1)

    λAλ=Var(λX)=Var(λX)=(λAλ)=λAλ.
    λAA

O resultado mais profundo é que qualquer matriz simétrica não negativa definida é uma matriz de covariância. A Isso significa que realmente existe alguma variável aleatória com valor vetorial com como covariância. Podemos demonstrar isso construindo explicitamente . Uma maneira é notar que a função de densidade (multivariada) com a propriedade possui por sua covariância. (Alguma delicadeza é necessária quando não é invertível - mas isso é apenas um detalhe técnico.)XAXf(x1,,xn)

log(f)12(x1,,xn)A1(x1,,xn)
AA

Soluções

Sejam e matrizes de covariância. Obviamente eles são quadrados; e se a soma deles tiver algum sentido, eles devem ter as mesmas dimensões. Precisamos apenas verificar as duas propriedades.XY

  1. A soma.

    • Simetria exibida a soma é simétrica.
      (X+Y)=X+Y=(X+Y)
    • Definitividade não negativa. Seja qualquer vetor. Então prova o ponto usando propriedades básicas da multiplicação de matrizes.λ
      λ(X+Y)λ=λXλ+λYλ0+0=0
  2. Deixo isso como um exercício.

  3. Este é complicado. Um método que eu uso para pensar em problemas de matriz desafiadores é fazer alguns cálculos com matrizes. Existem algumas matrizes de covariância comuns e comuns desse tamanho, como com e . A preocupação é que possa não ser definitivo: isto é, poderia produzir um valor negativo ao calcular uma variação? Se assim for, é melhor termos alguns coeficientes negativos na matriz. Isso sugere considerar para . Para obter algo interessante, podemos gravitar inicialmente para matrizes2×2

    (abba)
    a2b2a0XY
    X=(a11a)
    a1Y com estruturas de aparência diferente. Matrizes diagonais vêm à mente, como com . (Observe como podemos escolher livremente alguns dos coeficientes, como e , porque podemos redimensionar todas as entradas em qualquer matriz de covariância sem alterar suas propriedades fundamentais. Isso simplifica a busca de exemplos interessantes.)
    Y=(b001)
    b011

    Deixo para você calcular e testar se sempre é uma matriz de covariância para quaisquer valores permitidos de e .XYab

whuber
fonte
13

Uma matriz real é uma matriz de covariância se, e somente se, é semi-definida positiva simétrica.

Dicas:

1) Se e são simétricos, simétrico? Se para qualquer e para qualquer , o que você pode concluir sobre ?XYX+YzTXz0zzTYz0zzT(X+Y)z

2) Se é simétrico, simétrico? Se os autovalores de são não negativos, o que você pode concluir sobre os autovalores de ?XX2XX2

3) Se e são simétricos, você pode concluir que é simétrico ou pode encontrar um contra-exemplo?XYXY

Mark L. Stone
fonte