Eu já vi ótimos posts explicando o PCA e por que, sob essa abordagem, os autovetores de uma matriz de correlação (simétrica) são ortogonais. Também entendo as maneiras de mostrar que esses vetores são ortogonais entre si (por exemplo, pegar os produtos cruzados da matriz desses vetores próprios resultará em uma matriz com entradas fora da diagonal que são zero).
Minha primeira pergunta é: quando você olha para as correlações dos vetores próprios de um PCA, por que as entradas fora da diagonal da matriz de correlação são diferentes de zero (ou seja, como os vetores próprios podem ser correlacionados se forem ortogonais)?
Essa pergunta não é diretamente sobre o PCA, mas eu a coloquei nesse contexto, pois foi assim que me deparei com o problema. Estou usando R e especificamente o pacote psych para executar o PCA.
Se ajudar a ter um exemplo, este post no StackOverflow tem um que é muito conveniente e relacionado (também em R). Neste post, o autor da melhor resposta mostra que as cargas de PCA (vetores próprios) são ortogonais usando Congratência de fator ou produtos cruzados. No seu exemplo, a matriz L
é a matriz de carregamentos do PCA. A única coisa que não está nesse link é que cor(L)
produzirá a saída que estou perguntando sobre mostrar correlações diferentes de zero entre os vetores próprios.
Estou especialmente confuso sobre como os vetores ortogonais podem ser correlacionados após a leitura deste post, o que parece provar que a ortogonalidade é equivalente à falta de correlação: por que os autovetores de PCA são ortogonais e qual a relação com as pontuações de PCA que não estão correlacionadas?
Minha segunda pergunta é: quando os autovetores PCA são usados para calcular as pontuações PCA, as próprias pontuações não são correlacionadas (como eu esperava) ... existe uma conexão com minha primeira pergunta sobre isso, por que os autovetores são correlacionados, mas não as pontuações?
fonte
Respostas:
Seja um vetor aleatório com valor esperado e variação . Estamos procurando por vetores ordenados , que maximizem a variação de . Essencialmente, estamos resolvendoComo estamos interessados apenas na direção desses vetores, assumimos adicionalmente o comprimento unitário dos vetores . Os vetores na verdade não são aleatórios (porque estamos trabalhando teoricamente agora, na realidade estamos substituindo o desconhecido e desconhecidoX X=(x1,x2,⋯,xd)T μ Σ ui uTiX
Agora podemos mostrar queTrivialmente paraPortanto, não os autovetores, mas as projeções não são correlacionadas.
fonte
Observe quecov=0
L
é a matriz de carregamento, também conhecida como vetores próprios. Esta não é a matriz de dados do PCA. Os vetores próprios são obrigados a fornecer ortogonalidade, mas não . Por exemplo, considere a matriz:No PCA, não apenas você obtém os autovetores da matriz de covariância / correlação (depende do método), mas eles também estão sendo ortonormais (ou seja, para cada autovetor ), então nós pegue:∥uj∥=1 uj
e
mas observe que os dados do PCA são
e sua correlação é
fonte