Por que a matriz de correlação precisa ser semi-definida positiva e o que significa ser ou não ser semi-definida positiva?

Tenho pesquisado o significado de propriedade semi-definida positiva de matrizes de correlação ou covariância.

Estou procurando qualquer informação sobre

Definição de semi-definição positiva;
Suas propriedades importantes, implicações práticas;
A consequência de ter determinante negativo, impacto na análise multivariada ou nos resultados de simulação, etc.

covariance-matrix eigenvalues determinant correlation-matrix Melão
fonte

Você quer entender o semi-definiteness é , ou você quer saber por matrizes de correlação deve ser semi-definida, ou você quer saber o que resultados importantes estão implícitas por esta propriedade?

whuber

Se as matrizes de correlação não tiverem sido semi-positivas definidas, você poderá obter variações negativas.

Eu editei sua pergunta um pouco, verifique. Além disso, observe que uma matriz com um número par de valores próprios negativos ainda terá determinante positivo.

ttnphns

Uma matriz de covariância nem sempre é igual à matriz de correlação! A covariância considera variáveis normalizadas, enquanto a matriz de correlação não.

Manoj Kumar

Perguntas relacionadas: Toda matriz de covariância é positiva definitiva? considera o caso mais amplo de matrizes de covariância, das quais matrizes de correlação são um caso especial; Também todas as matrizes de correlação são semi-definidas positivas? e Toda matriz de correlação é positiva definida?

Silverfish

Respostas:

A variação de uma soma ponderada de variáveis aleatórias deve ser não-negativa para todas as opções de números reais . Como a variação pode ser expressa como temos que a matriz de covariância deve ser semidefinida positiva (que às vezes é chamada de definitiva não negativa). Lembre-se de que uma matriz é chamada semidefinida positiva se e somente se $\sum_i a_i X_i$ $a_i$

var (\sum_{Eu} {uma}_{Eu} X_{Eu}) = \sum_{Eu} \sum_{j} {uma}_{Eu} {uma}_{j} cov (X_{Eu}, X_{j}) = \sum_{Eu} \sum_{j} {uma}_{Eu} {uma}_{j} Σ_{Eu, j},

$\operatorname{var}\left(\sum_i a_i X_i\right) = \sum_i \sum_j a_ia_j \operatorname{cov}(X_i,X_j) = \sum_i \sum_j a_ia_j \Sigma_{i,j},$

Σ = [Σ_{i, j}]

$\Sigma = [\Sigma_{i,j}]$

C

$C$

\sum_{Eu} \sum_{j} {uma}_{Eu} {uma}_{j} C_{Eu, j} \geq 0 0 \forall {uma}_{Eu}, {uma}_{j} \in R .

$\sum_i \sum_j a_ia_j C_{i,j} \geq 0 \;\; \forall a_i, a_j \in \mathbb R.$

Dilip Sarwate
fonte

Obrigado, removi meu voto negativo, mas não o votei porque não responde sobre implicações práticas. Digamos que eu tenha uma matriz que não seja positiva definida (devido, por exemplo, à modificação por 'especialista'). O que aconteceria se eu o usasse para calibrar e / ou simular dados? Especificamente, isso é um problema real ao tentar estudar uma grande soma e há apenas alguns valores negativos de eigen? O que seria um algoritmo eficiente para transformar uma matriz de correlação semi-definida não positiva em uma matriz semi-definida positiva? Qual seria o impacto desse algoritmo?

lcrmorin

@ Were_cat Obrigado pela reversão do voto negativo.

Dilip Sarwate

Você poderia explicar a primeira igualdade na primeira equação?

Vivek Subramanian 22/03

var (X) = cov (X, X)

$\operatorname{var}(X)=\operatorname{cov}(X,X)$

\begin{aligned} cov (\sum_{Eu} {uma}_{Eu} X_{Eu}, Y) & = \sum_{Eu} {uma}_{Eu} cov (X_{Eu}, Y) \\ cov (X, \sum_{Eu} b_{j} Y_{j},) & = \sum_{j} b_{j} cov (X, Y_{j}) \end{aligned}

$\begin{align}\operatorname{cov}\left(\sum_i a_iX_i,Y\right)&=\sum_i a_i\operatorname{cov}(X_i,Y)\\ \operatorname{cov}\left(X, \sum_i b_jY_j,\right) &=\sum_j b_j \operatorname{cov}(X,Y_j)\end{align}$

A resposta é bem simples.

A matriz de correlação é definida assim:

$X = [x_1, x_2, ..., x_n]$ $m\times n$ $m$ $n$

$X_b= [\frac{(x_1-\mu_1 e)}{s_1}, \frac{(x_2-\mu_2 e)}{s_2}, \frac{(x_3-\mu_3 e)}{s_3}, ...]$ $\mu_1$ $\mu_2$ $s_1$ $e$

A matriz de correlação é então

C = X_{b}^{'} X_{b}

$C=X_b' X_b$

$A$ $z$ $z' A z <0$

$C$ $w' C w<0$

$(w' C w)=(w' X_b' X_b w)=(X_b w)'(X_b w) = {z_1^2+z_2^2...}$ $z=X_b w$ $w' C w$

$U$ $V' V$

Gregor
fonte

Esta é de longe a resposta mais clara, concisa e útil. Obrigado !

Yohan Obadia

(Uma possível folga no raciocínio seria minha. Não sou matemático: isso é uma representação, não uma prova, e é do meu experimento numérico, não dos livros.)

Uma matriz semidefinida positiva (psd), também chamada de matriz Gramiana, é uma matriz sem autovalores negativos. A matriz com autovalores negativos não é positiva semidefinida ou não gramiana. Ambos podem ser definidos (sem valores próprios zero) ou singulares (com pelo menos um valor próprio zero). [A palavra "Gramiano" é usada em vários significados diferentes em matemática, portanto talvez deva ser evitada.]
Nas estatísticas, geralmente aplicamos esses termos a uma matriz do tipo SSCP, também chamada de matriz de produto escalar. Matrizes de correlação ou covariância são casos particulares dessa matriz .
$n$ $p$ $p$ $p$ $n$ $n$ matriz de covariância entre os casos. Quando você calcula a partir de dados reais, a matriz sempre será Gramiana. Você pode obter uma matriz não-gramiana (sem psd) se (1) for uma matriz de similaridade medida diretamente (ou seja, não computada a partir dos dados) ou se a medida de similaridade não for do tipo SSCP; (2) os valores da matriz foram inseridos incorretamente; (3) a matriz é de fato gramiana, mas é (ou quase o que é) singular que, às vezes, o método espectral de calcular autovalores produz minúsculos negativos em vez de zero verdadeiro ou minúsculos positivos.
$d_{12}^2 = h_1^2+h_2^2-2s_{12}$ $s$ $h$ $X$ $Y$ $d_{xy}^2 = \sigma_x^2+\sigma_y^2-2cov_{xy}$
$m$ $m$
$m$ $m$ $m$
Quais são as possíveis causas ou versões da configuração não-gramiana (não-euclidiana)? As respostas seguem após contemplar [ponto 4].
- $m$ $m$ $d$
- $h$ $d$ $d$ $h$ $h$
- $d$ $h$ $h_1+h_2 \ge d_{12} \ge |h_1-h_2|$
$|cov_{ij}| \gt \sigma_i \sigma_j$

Figura 1.

Figura 1

Figura 2.

Figura 2

Fig3.

Fig3

ttnphns
fonte

O ponto 6 precisa de demonstração: você mostrou que uma matriz de distâncias euclidianas quadradas é pd, mas afirma sem prova que para cada matriz pd corresponde uma configuração euclidiana de pontos. Além disso, você não conectou sua definição de pd ("sem autovalores negativos") a nenhuma de suas caracterizações subsequentes. A idéia principal vem no final (ponto 8): uma matriz pd pode ser usada para definir uma distância. Logicamente, é aqui que você deve começar a análise.

whuber

@ whuber: Obrigado pela avaliação crítica. Receio que, quando se trata de provar algo matematicamente , eu afundo. Eu relatei parte da minha experiência prática (eu disse isso); a resposta não era realmente uma sequência analítica. Você não gostaria de adicionar sua própria resposta que possa corrigir / melhorar a minha? Pode ser uma ajuda valiosa. Ou você pode trabalhar no meu texto para aprimorá-lo, se não o considerar totalmente inútil.

ttnphns

PS Meu ponto 8 implica que, uma vez que a dupla centralização ancora uma configuração de pontos em seu centróide, essa operação em si não introduz não-euclidez (ela gera apenas singularidade porque o novo ponto, centro, pertence ao mesmo espaço). Portanto, podemos verificar se a configuração inicial era euclidiana. Isso não está correto?

ttnphns