Loadings vs autovetores no PCA: quando usar um ou outro?

Na análise de componentes principais (PCA), obtemos autovetores (vetores unitários) e autovalores. Agora, vamos definir loadings como

Eu sei que os autovetores são apenas direções e cargas (como definido acima) também incluem variação ao longo dessas direções. Mas, para meu melhor entendimento, gostaria de saber onde devo usar cargas em vez de vetores próprios? Um exemplo seria perfeito!

Geralmente, eu só vi pessoas usando autovetores, mas de vez em quando elas usam carregamentos (como definido acima) e então fico sentindo que realmente não entendo a diferença.

No PCA, você divide a matriz de covariância (ou correlação) em parte da escala (valores próprios) e parte da direção (vetores próprios). Em seguida, você pode dotar os autovetores da escala: loadings . Assim, as cargas são assim comparáveis ​​em magnitude com as covariâncias / correlações observadas entre as variáveis ​​- porque o que foi extraído da covariância das variáveis ​​agora retorna de volta - na forma de covariância entre as variáveis ​​e os componentes principais. Na verdade, as cargas são as covariâncias / correlações entre as variáveis ​​originais e os componentes em escala de unidade . Esta resposta mostra geometricamente o que são carregamentos e quais são os coeficientes que associam componentes a variáveis ​​na análise de PCA ou fator.

Carregamentos :

1. Ajudá-lo a interpretar os principais componentes ou fatores; Porque eles são os pesos de combinação linear (coeficientes) pelos quais componentes ou fatores em escala de unidade definem ou "carregam" uma variável .

   (O vetor próprio é apenas um coeficiente de transformação ou projeção ortogonal , é desprovido de "carga" dentro de seu valor. "Carga" é (informação da quantidade de) variação, magnitude. PCs são extraídos para explicar a variação das variáveis. as variações de (= explicado por) PCs. Quando multiplicamos o vetor próprio por raiz quadrada do valor eiven, "carregamos" o coeficiente puro pela quantidade de variação. Por essa virtude, tornamos o coeficiente a medida de associação , co- variabilidade.)

2. Às vezes, as cargas são "rotacionadas" (por exemplo, varimax) posteriormente para facilitar a interpretabilidade ( consulte também );

3. São as cargas que "restauram" a matriz de covariância / correlação original (veja também este tópico discutindo as nuances de PCA e FA nesse sentido);

4. Enquanto no PCA é possível calcular valores de componentes tanto de vetores próprios quanto de cargas, na análise fatorial você calcula as pontuações dos fatores a partir das cargas .

5. E, acima de tudo, a matriz de carregamento é informativa: suas somas verticais de quadrados são os autovalores, variações de componentes e suas somas horizontais de quadrados são partes das variações de variáveis ​​que são "explicadas" pelos componentes.

6. Carga reescalonada ou padronizada é a carga dividida pelo st da variável desvio; é a correlação. (Se o seu PCA for um PCA baseado em correlação, o carregamento será igual ao redimensionado, porque o PCA baseado em correlação é o PCA em variáveis ​​padronizadas.) O carregamento redimensionado ao quadrado tem o significado da contribuição de um pr. componente em uma variável; se for alto (próximo a 1), a variável é bem definida apenas por esse componente.

Um exemplo de cálculos feitos em PCA e FA para você ver .

Os autovetores são cargas em escala de unidade; e são os coeficientes (cossenos) da transformação ortogonal (rotação) de variáveis ​​em componentes principais ou vice-versa. Portanto, é fácil calcular os valores dos componentes (não padronizados) com eles. Além disso, seu uso é limitado. O valor do vetor próprio quadrado ao significado da contribuição de uma variável para um pr. componente; se for alto (próximo a 1), o componente será bem definido apenas por essa variável.

Embora vetores próprios e cargas sejam simplesmente duas maneiras diferentes de normalizar coordenadas dos mesmos pontos que representam colunas (variáveis) dos dados em um biplot , não é uma boa idéia misturar os dois termos. Esta resposta explicou o porquê. Veja também .

Parece haver muita confusão sobre cargas, coeficientes e autovetores. A palavra loadings vem da análise fatorial e refere-se aos coeficientes da regressão da matriz de dados para os fatores. Eles não são os coeficientes que definem os fatores. Veja, por exemplo, Mardia, Bibby e Kent ou outros livros de estatística multivariados.

Nos últimos anos, a palavra loadings foi usada para indicar os coeficientes dos PCs. Aqui parece que costumava indicar os coeficientes multiplicados pelo sqrt dos autovalores da matriz. Essas não são quantidades comumente usadas no PCA. Os principais componentes são definidos como a soma das variáveis ​​ponderadas com os coeficientes da norma unitária. Dessa maneira, os PCs têm norma igual ao valor próprio correspondente, que por sua vez é igual à variação explicada pelo componente.

É na Análise Fatorial que os fatores são necessários para ter a norma da unidade. Mas FA e PCA são completamente diferentes. A rotação do coeficiente dos PCs raramente é realizada porque destrói a otimização dos componentes.

Na FA, os fatores não são definidos de forma única e podem ser estimados de diferentes maneiras. As quantidades importantes são as cargas (as verdadeiras) e as comunidades que são usadas para estudar a estrutura da matriz de covariância. PCA ou PLS deve ser usado para estimar componentes.

In Factor Analysis (using PCA for extraction), we get orthonormal eigen vectors (unit vectors) and corresponding eigenvalues. Now, loadings are defined as 

Carregamentos = Autovetores ortogonais⋅ Raiz quadrada de (valores de Eigen absolutos) Aqui os vetores autônomos ortonormais (ou seja, o termo vetores autônomos ortonormais) fornecem uma direção e o termo Raiz quadrada de (valores de Eigen absolutos) fornece o valor.

Normalmente, as pessoas dizem que os sinais nas cargas não são importantes, mas sua magnitude é importante. Mas se invertermos a direção de um vetor eigen (mantendo o sinal de outros vetores eigen), os escores dos fatores serão alterados. Portanto, a análise adicional será afetada significativamente.

Até agora, não consegui encontrar uma solução satisfatória para essa ambiguidade.

Parece haver alguma confusão sobre esse assunto, por isso fornecerei algumas observações e um apontador para onde uma excelente resposta pode ser encontrada na literatura.

Em primeiro lugar, PCA e análise fatorial (FA) estão relacionados. Em geral, os principais componentes são ortogonais por definição, enquanto os fatores - a entidade análoga na FA - não são. Simplificando, os componentes principais abrangem o espaço fatorial de maneira arbitrária, mas não necessariamente útil, devido ao fato de serem derivados da pura análise própria dos dados. Os fatores, por outro lado, representam entidades do mundo real que são apenas ortogonais (isto é, não correlacionadas ou independentes) por coincidência.

Digamos que tomemos as observações de cada um dos l assuntos. Estes podem ser organizados em uma matriz de dados D com s linhas e l colunas. D pode ser decomposto em uma matriz de pontuação S e uma matriz de carregamento L de modo que D = SL . S terá s linhas e L terá l colunas, sendo a segunda dimensão de cada um o número de fatores n . O objetivo da análise fatorial é decompor Dde maneira a revelar as pontuações e fatores subjacentes. As cargas em L nos dizer a proporção de cada pontuação que compõem as observações em D .

No PCA, L tem os vetores próprios da matriz de correlação ou covariância de D como suas colunas. Estes são organizados convencionalmente em ordem decrescente dos valores próprios correspondentes. O valor de n - ou seja, o número de componentes principais significativos a serem retidos na análise e, portanto, o número de linhas de L - é normalmente determinado pelo uso de um gráfico de scree dos valores próprios ou de um dos vários outros métodos encontrados em a literatura. As colunas de S no PCA formam os n componentes principais abstratos. O valor de n é a dimensionalidade subjacente do conjunto de dados.

O objecto de análise factorial é transformar os componentes sumário em factores significativos através do uso de uma matriz de transformação T tal que D = STT ^-1 G . ( ST ) é a matriz de pontuação transformada e ( T ^-1 L ) é a matriz de carga transformada.

A explicação acima segue aproximadamente a notação de Edmund R. Malinowski em sua excelente Análise Fatorial em Química . Eu recomendo os capítulos iniciais como uma introdução ao assunto.

Estou um pouco confuso com esses nomes e procurei no livro "Métodos Estatísticos na Ciência Atmosférica", e ele me deu um resumo da terminologia variada da PCA, aqui estão as capturas de tela do livro, espero que ajude.