Significado de Raiz Quadrada de Covariância / Matrizes de Precisão

8

Digamos que é uma variável aleatória com covariância . Por definição , as entradas da matriz de covariância são covariâncias: Além disso, sabe-se que as entradas da precisão satisfazem: onde o lado direito é a covariância de com condicionado em todas as outras variáveis. $X \in \mathbb{R}^n$ $\Sigma \in \mathbb{R}^{n\times n}$

Σ_{i j} = C o v (X_{i}, X_{j}) .

$\Sigma_{ij} = Cov( X_i,X_j).$

Σ^{- 1}

$\Sigma^{-1}$

Σ_{i j}^{- 1} = C o v (X_{i}, X_{j} | {X_{k}}_{k = 1}^{n} ∖ X_{i}, X_{j}}),

$\Sigma^{-1}_{ij} = Cov(X_i,X_j| \{X_k\}_{k=1}^n \backslash X_i,X_j\}),$

X_{i}

$X_i$

X_{j}

$X_j$

Existe uma interpretação estatística para as entradas de uma raiz quadrada de ou ? Por raiz quadrada de uma matriz quadrada I significativo qualquer matriz , tal que . Uma decomposição de autovalor das referidas matrizes não fornece essa interpretação de entrada, tanto quanto posso ver. $\Sigma$ $\Sigma^{-1}$ $A$ $M$ $M^tM = A$

interpretation covariance covariance-matrix partial-correlation precision Yair Daon
fonte

11

@kjetilbhalvorsen adicionou uma explicação. Varreu alguns detalhes sob o rugh, no entanto. Qual é o valor condicionado? Nenhum dado, portanto, ele deve ser calculado sobre todos os valores.

Yair Daon

11

O relato que dei sobre regressão, correlação e distribuições condicionais em stats.stackexchange.com/questions/71260/… fornece construções geométricas explícitas de duas raízes quadradas diferentes da matriz de covariância inversa. Essas idéias geométricas generalizam para dimensões mais altas, fornecendo, assim, pelo menos duas interpretações estatísticas distintas e bem conhecidas (a saber, PCA e regressão múltipla).

whuber

1

Escreverei raízes quadradas matriciais de como , para ser consistente com a decomposição de Cholesky que é escrita como onde é lowtri (triangular inferior). Portanto, seja um vetor aleatório com e . Seja agora um vetor aleatório com expectativa zero e matriz de covariância unitária. $\Sigma$ $\Sigma=A A^T$ $\Sigma = L L^T$ $L$ $X$ $\DeclareMathOperator{\E}{\mathbb{E}} \DeclareMathOperator{\Cov}{\mathbb{Cov}}\DeclareMathOperator{\Var}{\mathbb{Var}} \E X=\mu$ $\Var X =\Sigma$ $Z$

Observe que existem (exceto no caso escalar) infinitamente muitas raízes quadradas da matriz. Se deixarmos ser um dos, podemos encontrar todos os outros como onde é qualquer matriz ortogonal, ou seja, . Isso é conhecido como liberdade unitária de raízes quadradas . $A$ $A \mathcal{O}$ $\mathcal{O}$ $\mathcal{O} \mathcal{O}^T = \mathcal{O}^T \mathcal{O} =I$

Vejamos algumas raízes quadradas da matriz em particular.

Primeiro uma raiz quadrada simétrica. Use a decomposição espectral para escrever . Então e isso pode ser interpretado como o PCA (análise de componentes principais) de . $\Sigma = U \Lambda U^T = U\Lambda^{1/2}(U\Lambda^{1/2})^T$ $\Sigma^{1/2}=U\Lambda^{1/2}$ $\Sigma$
A decomposição de Cholesky e é baixa. Podemos representar como . Multiplicando para obter equações escalares, obtemos um sistema triangular em , que no caso de séries temporais pode ser interpretado como uma representação MA (média móvel). $\Sigma=L L^T$ $L$ $X$ $X=\mu + L Z$ $Z$
O caso geral , utilizando o acima que pode interpretar esta como uma representação MA após a rotação . $A= L \mathcal{O}$ $Z$

kjetil b halvorsen
fonte

+1 Re cálculo da raiz quadrada através de decomposição espectral, eu vi também. Mas isso seria diferente daquele que você mencionou, mas ambos são válidos, é verdade?

Σ^{1 / 2} = U Λ^{1 / 2} U^{T}

$\Sigma^{1/2}=U\Lambda^{1/2}U^{T}$

NULL

0

Uma matriz nxn pode ter muitas raízes quadradas, como você mencionou. No entanto, uma matriz de covariância deve ser semi-definida positiva e uma matriz semi-definida positiva possui apenas uma raiz quadrada que também é semi-definida positiva. Dê uma olhada no artigo da wikipedia intitulado "Raiz quadrada de uma matriz".

Michael R. Chernick
fonte

3

Não pedi uma raiz quadrada simétrica. Por exemplo, uma decomposição de Cholesky é suficiente para o objetivo desta pergunta.

Yair Daon

11

Eu não disse que um termo na matriz de covariância não poderia ser negativo. Estou falando de uma propriedade diferente de que uma matriz de covariância é pelo menos semi-definida positiva.

Michael R. Chernick

0

Às vezes, as pessoas estão interessadas em estimar a localização dos zeros na matriz de precisão pelo mesmo motivo que você descreveu acima. Se é sua matriz raiz quadrada, ou seja, , então para os nós então, imagino que olhar o produto interno entre as colunas da sua matriz raiz quadrada estimada fornecerá um número semelhante ao quão próximos são os dois nós condicionalmente independentes. Apenas uma ideia. $M$ $M'M = \Sigma^{-1}$ $i \neq j$

Σ_{i, j}^{- 1} = 0 ⟺ M_{i}^{'} M_{j} = 0

$\Sigma^{-1}_{i,j} = 0 \iff M_i'M_j = 0$

A raiz quadrada da matriz de covariância é a escala. Imagino simular um vetor aleatório normal padrão e depois multiplicar pela matriz da raiz quadrada. Se essa matriz é triangular inferior, sempre imagino fazer todas as pequenas multiplicações e acréscimos.

Também existem casos individuais em que certos elementos da matriz de raiz quadrada são apenas raízes quadradas de elementos individuais da matriz de covariância. Porém, isso não é interessante, então acho que você já pensou nisso.

Taylor
fonte

Significado de Raiz Quadrada de Covariância / Matrizes de Precisão

Respostas: