Por que a matriz de correlação precisa ser semi-definida positiva e o que significa ser ou não ser semi-definida positiva?

34

Tenho pesquisado o significado de propriedade semi-definida positiva de matrizes de correlação ou covariância.

Estou procurando qualquer informação sobre

  • Definição de semi-definição positiva;
  • Suas propriedades importantes, implicações práticas;
  • A consequência de ter determinante negativo, impacto na análise multivariada ou nos resultados de simulação, etc.
Melão
fonte
5
Você quer entender o semi-definiteness é , ou você quer saber por matrizes de correlação deve ser semi-definida, ou você quer saber o que resultados importantes estão implícitas por esta propriedade?
whuber
4
Se as matrizes de correlação não tiverem sido semi-positivas definidas, você poderá obter variações negativas.
Eu editei sua pergunta um pouco, verifique. Além disso, observe que uma matriz com um número par de valores próprios negativos ainda terá determinante positivo.
ttnphns
Uma matriz de covariância nem sempre é igual à matriz de correlação! A covariância considera variáveis ​​normalizadas, enquanto a matriz de correlação não.
Manoj Kumar
11
Perguntas relacionadas: Toda matriz de covariância é positiva definitiva? considera o caso mais amplo de matrizes de covariância, das quais matrizes de correlação são um caso especial; Também todas as matrizes de correlação são semi-definidas positivas? e Toda matriz de correlação é positiva definida?
Silverfish

Respostas:

38

A variação de uma soma ponderada de variáveis ​​aleatórias deve ser não-negativa para todas as opções de números reais . Como a variação pode ser expressa como temos que a matriz de covariância deve ser semidefinida positiva (que às vezes é chamada de definitiva não negativa). Lembre-se de que uma matriz é chamada semidefinida positiva se e somente seum i var ( Σ i um i X i ) = Σ i Σ j um i um j cov ( X i , X j ) = Σ i Σ j um i um j Σ i , j , Σ = [ Σ i , j ] C i jEuumaEuXEuumaEu

var(EuumaEuXEu)=EujumaEuumajcov(XEu,Xj)=EujumaEuumajΣEu,j,
Σ=[ΣEu,j]C
EujumaEuumajCEu,j0 0umaEu,umajR.
Dilip Sarwate
fonte
Obrigado, removi meu voto negativo, mas não o votei porque não responde sobre implicações práticas. Digamos que eu tenha uma matriz que não seja positiva definida (devido, por exemplo, à modificação por 'especialista'). O que aconteceria se eu o usasse para calibrar e / ou simular dados? Especificamente, isso é um problema real ao tentar estudar uma grande soma e há apenas alguns valores negativos de eigen? O que seria um algoritmo eficiente para transformar uma matriz de correlação semi-definida não positiva em uma matriz semi-definida positiva? Qual seria o impacto desse algoritmo?
lcrmorin
@ Were_cat Obrigado pela reversão do voto negativo.
Dilip Sarwate
Você poderia explicar a primeira igualdade na primeira equação?
Vivek Subramanian 22/03
11
var(X)=cov(X,X)
cov(EuumaEuXEu,Y)=EuumaEucov(XEu,Y)cov(X,EubjYj,)=jbjcov(X,Yj)
18

A resposta é bem simples.

A matriz de correlação é definida assim:

X=[x1 1,x2,...,xn]m×nmn

Xb=[(x1 1-μ1 1e)s1 1,(x2-μ2e)s2,(x3-μ3e)s3,...]μ1 1μ2s1 1e

A matriz de correlação é então

C=XbXb

UMAzzUMAz<0 0

CWCW<0 0

(WCW)=(WXbXbW)=(XbW)(XbW)=z1 12+z22...z=XbWWCW

vocêVV

Gregor
fonte
2
Esta é de longe a resposta mais clara, concisa e útil. Obrigado !
Yohan Obadia
12

(Uma possível folga no raciocínio seria minha. Não sou matemático: isso é uma representação, não uma prova, e é do meu experimento numérico, não dos livros.)

  1. Uma matriz semidefinida positiva (psd), também chamada de matriz Gramiana, é uma matriz sem autovalores negativos. A matriz com autovalores negativos não é positiva semidefinida ou não gramiana. Ambos podem ser definidos (sem valores próprios zero) ou singulares (com pelo menos um valor próprio zero). [A palavra "Gramiano" é usada em vários significados diferentes em matemática, portanto talvez deva ser evitada.]
  2. Nas estatísticas, geralmente aplicamos esses termos a uma matriz do tipo SSCP, também chamada de matriz de produto escalar. Matrizes de correlação ou covariância são casos particulares dessa matriz .
  3. npppnnmatriz de covariância entre os casos. Quando você calcula a partir de dados reais, a matriz sempre será Gramiana. Você pode obter uma matriz não-gramiana (sem psd) se (1) for uma matriz de similaridade medida diretamente (ou seja, não computada a partir dos dados) ou se a medida de similaridade não for do tipo SSCP; (2) os valores da matriz foram inseridos incorretamente; (3) a matriz é de fato gramiana, mas é (ou quase o que é) singular que, às vezes, o método espectral de calcular autovalores produz minúsculos negativos em vez de zero verdadeiro ou minúsculos positivos.
  4. d122=h1 12+h22-2s12shXYdxy2=σx2+σy2-2covxy
  5. mm
  6. mmm
  7. Quais são as possíveis causas ou versões da configuração não-gramiana (não-euclidiana)? As respostas seguem após contemplar [ponto 4].
    • mmd
    • hddhh
    • dhh1 1+h2d12|h1 1-h2|
  8. |covEuj|>σEuσj

Figura 1.

Figura 1

Figura 2.

Figura 2

Fig3.

Fig3

ttnphns
fonte
2
O ponto 6 precisa de demonstração: você mostrou que uma matriz de distâncias euclidianas quadradas é pd, mas afirma sem prova que para cada matriz pd corresponde uma configuração euclidiana de pontos. Além disso, você não conectou sua definição de pd ("sem autovalores negativos") a nenhuma de suas caracterizações subsequentes. A idéia principal vem no final (ponto 8): uma matriz pd pode ser usada para definir uma distância. Logicamente, é aqui que você deve começar a análise.
whuber
@ whuber: Obrigado pela avaliação crítica. Receio que, quando se trata de provar algo matematicamente , eu afundo. Eu relatei parte da minha experiência prática (eu disse isso); a resposta não era realmente uma sequência analítica. Você não gostaria de adicionar sua própria resposta que possa corrigir / melhorar a minha? Pode ser uma ajuda valiosa. Ou você pode trabalhar no meu texto para aprimorá-lo, se não o considerar totalmente inútil.
ttnphns
PS Meu ponto 8 implica que, uma vez que a dupla centralização ancora uma configuração de pontos em seu centróide, essa operação em si não introduz não-euclidez (ela gera apenas singularidade porque o novo ponto, centro, pertence ao mesmo espaço). Portanto, podemos verificar se a configuração inicial era euclidiana. Isso não está correto?
ttnphns