O que a matriz de inversão de covariância diz sobre dados? (Intuitivamente)

Estou curioso sobre a natureza de $\Sigma^{-1}$ . Alguém pode dizer algo intuitivo sobre "O que $\Sigma^{-1}$ diz sobre dados?"

Editar:

Obrigado pelas respostas

Depois de fazer alguns ótimos cursos, gostaria de acrescentar alguns pontos:

É uma medida de informação, ou seja, $x^T\Sigma^{-1}x$ é a quantidade de informação ao longo da direção $x$ .
Dualidade: Como $\Sigma$ é definido positivamente, também é $\Sigma^{-1}$ , portanto são normas de produto escalar, mais precisamente são normas duplas uma da outra, para que possamos derivar Fenchel dual para o problema dos mínimos quadrados regularizados e fazer maximização por dupla problema. Podemos escolher qualquer um deles, dependendo do seu condicionamento.
Espaço Hilbert: as colunas (e linhas) de $\Sigma^{-1}$ e $\Sigma$ ocupam o mesmo espaço. Portanto, não há nenhuma vantagem (exceto quando uma dessas matrizes está mal condicionada) entre a representação com $\Sigma^{-1}$ ou $\Sigma$
$\Sigma^{-1}$ $\|\Sigma^{-1}\|\rightarrow 0$
Estatísticas Frequentistas: Está intimamente relacionado às informações de Fisher, usando o limite Cramér – Rao. De fato, a matriz de informações dos pescadores (produto externo do gradiente de probabilidade logarítmica) é ligada por Cramér-Rao, ou seja, (cone semi-definido positivo wrt, concentração de iewrt elipsóides). Então, quando o estimador de probabilidade máxima é eficiente, ou seja, a informação máxima existe nos dados, de modo que o regime freqüentista é ideal. Em palavras mais simples, para algumas funções de probabilidade (observe que a forma funcional da probabilidade depende puramente do modelo probablístico que supostamente gerou dados, também conhecido como modelo generativo), a probabilidade máxima é um estimador eficiente e consistente, governa como um chefe. (desculpe por exagerar) $\Sigma^{-1}\preceq \mathcal{F}$ $\Sigma^{-1}=\mathcal{F}$

bayesian maximum-likelihood covariance matrix Arya
fonte

Eu acho que o PCA pega o autovetor com autovalores grandes em vez de autovalores pequenos.

wdg

(3) Está incorreto, porque é equivalente a afirmar que as colunas de são as de (até uma permutação), o que é verdadeiro apenas para a matriz de identidade.

Σ^{- 1}

$\Sigma^{-1}$

Σ

$\Sigma$

whuber

Respostas:

É uma medida de precisão, assim como é uma medida de dispersão. $\Sigma$

Mais detalhadamente, é uma medida de como as variáveis estão dispersas em torno da média (os elementos diagonais) e como elas co-variam com outras variáveis (os elementos fora da diagonal). Quanto maior a dispersão, mais afastados estão da média e mais co-variam (em valor absoluto) com as outras variáveis, mais forte é a tendência de 'se moverem juntos' (na mesma direção ou no sentido oposto, dependendo da sinal da covariância). $\Sigma$

Da mesma forma, é uma medida de quão fortemente agrupadas as variáveis estão em torno da média (os elementos diagonais) e até que ponto elas não co-variam com as outras variáveis (os elementos fora da diagonal). Assim, quanto maior o elemento diagonal, mais apertada a variável é agrupada em torno da média. A interpretação dos elementos fora da diagonal é mais sutil e refiro-lhe as outras respostas para essa interpretação. $\Sigma^{-1}$

suporte
fonte

Um forte exemplo contrário à sua última afirmação sobre elementos fora da diagonal em é fornecido pelo exemplo não trivial mais simples em duas dimensões, Os maiores valores fora da diagonal correspondem a valores mais extremos do coeficiente de correlação que é o oposto do que você parece estar dizendo.

Σ^{- 1}

$\Sigma^{-1}$

Σ^{- 1} = (\begin{array}{cc} \frac{1}{1 - ρ^{2}} & - \frac{ρ}{1 - ρ^{2}} \\ - \frac{ρ}{1 - ρ^{2}} & \frac{1}{1 - ρ^{2}} \end{array}) .

$\Sigma^{-1}=\left( \begin{array}{cc} \frac{1}{1-\rho ^2} & -\frac{\rho }{1-\rho ^2} \\ -\frac{\rho }{1-\rho ^2} & \frac{1}{1-\rho ^2} \\ \end{array} \right).$

ρ,

$\rho,$

whuber

@whuber Certo. Eu deveria me livrar da palavra "absoluta" na última frase. Obrigado

prop

Obrigado, mas isso ainda não resolve o problema: a relação que você afirma entre os elementos fora da diagonal do inverso e a co-variação não existe.

whuber

@whuber eu acho que sim. No seu exemplo, os elementos fora da diagonal são negativos. Portanto, como aumenta os elementos fora da diagonal diminuir. Você pode verificar isso observando o seguinte: at o elemento fora da diagonal é ; quando aproxima de os elementos fora da diagonal se aproximam e a derivada do elemento fora da diagonal em relação a é negativa.

ρ

$\rho$

ρ = 0

$\rho = 0$

0

$0$

ρ

$\rho$

1

$1$

- \infty

$-\infty$

ρ

$\rho$

prop

Meus elementos fora da diagonal são positivos quando

ρ < 0.

$\rho\lt 0.$

whuber

Usando sobrescritos para denotar os elementos do inverso, é a variação do componente da variável que não está correlacionada com as outras variáveis e é a correlação parcial de variáveis e , controlando-se os de outras variáveis. $1/\sigma^{ii}$ $i$ $p-1$ $-\sigma^{ij}/\sqrt{\sigma^{ii}\sigma^{jj}}$ $i$ $j$ $p-2$

Ray Koopman
fonte