Uma medida de "variação" da matriz de covariância?

Se os dados forem 1d, a variação mostrará até que ponto os pontos de dados são diferentes um do outro. Se os dados forem multidimensionais, obteremos uma matriz de covariância.

Existe uma medida que fornece um número único de como os pontos de dados são diferentes entre si em geral para dados multidimensionais?

Sinto que já pode haver muitas soluções, mas não tenho certeza do termo correto a ser usado para procurá-las.

Talvez eu possa fazer algo como somar os autovalores da matriz de covariância, isso parece sensato?

(A resposta abaixo apenas introduz e declara o teorema comprovado em [0]. A beleza desse artigo é que a maioria dos argumentos é feita em termos de álgebra linear básica. Para responder a essa pergunta, basta dizer os principais resultados, mas por todos os meios, verifique a fonte original).

Em qualquer situação em que o padrão multivariado dos dados possa ser descrito por uma distribuição elíptica $k$ variável, a inferência estatística reduzirá, por definição, o problema de ajustar (e caracterizar) um vetor de localização variável $k$ (digamos ) e um por simétrica matriz definida semi-positivo (dizer ) para os dados. Por razões que explico abaixo (mas que você já assume como premissas), muitas vezes será mais significativo decompor em um componente de forma (uma matriz SPSD do mesmo tamanho quek k Σ Σ Σ σ $\boldsymbol\theta$$k$$k$$\boldsymbol\varSigma$$\boldsymbol\varSigma$$\boldsymbol\varSigma$) responsável pelo formato dos contornos de densidade da sua distribuição multivariada e um escalar que expressa a escala desses contornos.$\sigma_S$

Nos dados univariados ( ), , a matriz de covariância de seus dados é escalar e, como se segue na discussão abaixo, o componente de forma de é 1, para que seja igual a seu componente de escala sempre e nenhuma ambiguidade é possível.Σ Σ Σ Σ = σ $k=1$$\boldsymbol\varSigma$$\boldsymbol\varSigma$$\boldsymbol\varSigma$$\boldsymbol\varSigma=\sigma_S$

Em dados multivariados, muitas opções de funções de escala são possíveis. Um em particular ( ) se destaca por ter uma propriedade chave desejável. Isso deve torná-lo a escolha preferida do fator de escala no contexto das famílias elípticas.σ S = | $\sigma_S$$\sigma_S=|\pmb\varSigma|^{1/k}$

---

Muitos problemas nas estatísticas de MV envolvem a estimativa de uma matriz de dispersão, definida como uma função (al) semi-positiva simétrica definida em e satisfatória:R k × $\boldsymbol\varSigma$$\mathbb{R}^{k\times k}$

A

$$(0)\quad\boldsymbol\varSigma(\boldsymbol A\boldsymbol X+\boldsymbol b)=\boldsymbol A\boldsymbol\varSigma(\boldsymbol X)\boldsymbol A^\top$$ (para matrizes não singulares e vectors ). Por exemplo, a estimativa clássica de covariância satisfaz (0), mas não é de forma alguma a única. $\boldsymbol A$$\boldsymbol b$

Na presença de dados elípticos distribuídos, em que todos os contornos de densidade são elipses definidos pela mesma matriz de forma, até a multiplicação por um escalar, é natural considerar versões normalizadas de da forma:$\boldsymbol\varSigma$

$$\boldsymbol V_S = \boldsymbol\varSigma / S(\boldsymbol\varSigma)$$

em que é uma função 1-honógena que satisfaz:$S$

$$(1)\quad S(\lambda \boldsymbol\varSigma)=\lambda S(\boldsymbol\varSigma)$$

para todos . Então, é chamado o componente de forma da matriz de dispersão (na matriz de formas curtas) e é chamado de componente de escala da matriz de dispersão. Exemplos de problemas de estimativa multivariada em que a função de perda depende apenas de através de seu componente de forma incluem testes de esfericidade, PCA e CCA, entre outros.V S σ S = S 1 / 2 ( Σ ) Σ V $\lambda>0$$\boldsymbol V_S$$\sigma_S=S^{1/2}(\boldsymbol\varSigma)$$\boldsymbol\varSigma$$\boldsymbol V_S$

Obviamente, existem muitas funções de dimensionamento possíveis, de modo que isso ainda deixa em aberto a questão de qual (se houver) dentre várias opções da função de normalização é, em certo sentido, ideal. Por exemplo:$S$

• $S=\text{tr}(\boldsymbol\varSigma)/k$ (por exemplo, o proposto por @amoeba em seu comentário abaixo da pergunta do OP. Veja também [1], [2], [3])
• $S=|\boldsymbol\varSigma|^{1/k}$ ([4], [5], [6], [7], [8])
• $\boldsymbol\varSigma_{11}$ (a primeira entrada da matriz de covariância)
• $\lambda_1(\boldsymbol\varSigma)$ (o primeiro valor próprio de )$\boldsymbol\varSigma$

No entanto, é a única função de dimensionamento para a qual a matriz Fisher Information para as estimativas correspondentes de escala e forma, em famílias localmente assintoticamente normais, é diagonal de bloco (que é a escala e os componentes de forma do problema de estimativa são assintoticamente ortogonais) [0]. Isso significa, entre outras coisas, que a escala funcional é a única opção de para a qual a não especificação de não causa perda de eficiência ao executar inferência em . S = | Σ | 1 / k S σ S V $S=|\boldsymbol\varSigma|^{1/k}$$S=|\boldsymbol\varSigma|^{1/k}$$S$$\sigma_S$$\boldsymbol V_S$

Não conheço nenhuma caracterização de otimalidade comparativamente forte para qualquer uma das muitas opções possíveis de que satisfazem (1).$S$

• [0] Paindaveine, D., Uma definição canônica de forma, Statistics & Probability Letters, Volume 78, Edição 14, 1 de outubro de 2008, páginas 2240-2247. Link não bloqueado
• [1] Dumbgen, L. (1998). No M-funcional de dispersão de Tyler em alta dimensão, Ann. Inst. Statist. Matemática. 50, 471–491.
• [2] Ollila, E., TP Hettmansperger e H. Oja (2004). Métodos de sinais multivariados equivalentes afins. Preprint, Universidade de Jyvaskyla.
• [3] Tyler, DE (1983). Propriedades de robustez e eficiência de matrizes de dispersão, Biometrika 70, 411–420.
• [4] Dumbgen, L. e DE Tyler (2005). Nas propriedades de detalhamento de alguns M-Functionals multivariados, Scand. J. Statist. 32, 247-264.
• [5] Hallin, M. e D. Paindaveine (2008). Testes ótimos baseados em classificação para homogeneidade de dispersão, Ann. Statist., Para aparecer.
• [6] Salibian-Barrera, M., S. Van Aelst e G. Willems (200 6). Análise de componentes principais baseada em estimadores MM multivariados com bootstrap rápido e robusto, J. Amer. Statist. Assoc. 101, 1198–1211.
• [7] Taskinen, S., C. Croux, A. Kankainen, E. Ollila e H. O ja (2006). Funções de influência e eficiências da correlação canônica e estimativas de vetores com base em matrizes de dispersão e forma, J. Multivariate Anal. 97, 359-384.
• [8] Tatsuoka, KS e DE Tyler (2000). Sobre a singularidade de S-Funcionais e M-funcionais em distribuições não elípticas, Ann. Statist. 28, 1219-1243.

A variação de uma variável escalar é definida como o desvio ao quadrado da variável de sua média:

$$\operatorname{Var}(X) = \operatorname E\left[\left(X - \operatorname E\left[X\right]\right)^2\right]$$

Uma generalização para uma variação escalar-avaliada para variáveis ​​aleatórias com valor vetorial pode ser obtida interpretando o desvio como a distância euclidiana :

$$\operatorname{Var_s}(\mathbf X) = \operatorname E\left[\left\|\mathbf X - \operatorname E\left[\mathbf X\right]\right\|_2^2\right]$$

Esta expressão pode ser reescrita como

$$\begin{array}{rcl} \operatorname{Var_s}(\mathbf X) & = & \operatorname E[(\mathbf X - \operatorname E[\mathbf X ])\cdot(\mathbf X - \operatorname E[\mathbf X ])] \\ & = & \operatorname E\left[\sum_{i=1}^n(X_i - \operatorname E[X_i])^2\right] \\ & = & \sum_{i=1}^n \operatorname E\left[(X_i - \operatorname E[X_i])^2\right] \\ & = & \sum_{i=1}^n \operatorname{Var}(X_i) \\ & = & \sum_{i=1}^n C_{ii} \end{array}$$

onde é a matriz de covariância. Finalmente, isso pode ser simplificado para$\mathbf{C}$

$$\operatorname{Var_s}(X) = \operatorname{tr}(\mathbf{C})$$

que é o traço da matriz de covariância.

Embora o traço da matriz de covariância, tr (C) , forneça uma medida da variação total, ela não leva em consideração a correlação entre variáveis.

Se você precisar de uma medida da variação geral que seja grande quando suas variáveis ​​forem independentes uma da outra e muito pequena quando as variáveis ​​estiverem altamente correlacionadas, você poderá usar o determinante da matriz de covariância | | | .

Por favor, consulte este artigo para um melhor esclarecimento.

Se você precisar de apenas um número, sugiro o maior valor próprio de uma matriz de covariância. Essa também é uma variação explicada do primeiro componente principal no PCA. Indica quanta variação total pode ser explicada se você reduzir a dimensionalidade do seu vetor para um. Veja esta resposta em matemática SE.

A ideia é que você reduza seu vetor em apenas uma dimensão, combinando todas as variáveis ​​linearmente em uma série. Você acaba com o 1d problema.

A variação explicada pode ser relatada em termos de% para a variação total. Nesse caso, você verá imediatamente se há muita correlação linear entre as séries. Em algumas aplicações, esse número pode ser 80% ou mais alto, por exemplo, modelagem de curva de taxa de juros em finanças. Isso significa que você pode construir uma combinação linear de variáveis ​​que explica 80 de variação de todas as variáveis.

$$H(X)=-\int p(x)\log p(x) dx.$$

$p(x)$$\mu$$\Sigma$

$$H(X)=\frac{1}{2}\log((2\pi e)^n\det(\Sigma))$$ where $n$ is the number of dimensions. Since multivariate Gaussian is the distribution that maximizes the differential entropy for given covariance, this formula gives an entropy upper bound for an unknown distribution with a given variance.

And it depends on the determinant of the covariance matrix, as @user603 suggests.