Qual é a razão intuitiva por trás das rotações na Análise Fatorial / PCA e como selecionar a rotação apropriada?

Minhas perguntas

1. Qual é a razão intuitiva por trás da rotação de fatores na análise fatorial (ou componentes no PCA)?

   Meu entendimento é que, se as variáveis ​​são quase igualmente carregadas nos principais componentes (ou fatores), então obviamente é difícil diferenciar os componentes. Portanto, neste caso, pode-se usar a rotação para obter uma melhor diferenciação dos componentes. Isso está correto?

2. Quais são as consequências de fazer rotações? Que coisas isso afeta?

3. Como selecionar a rotação apropriada? Existem rotações ortogonais e rotações oblíquas. Como escolher entre essas e quais são as implicações dessa escolha?

Por favor, explique intuitivamente com menos equações matemáticas. Poucas das respostas espalhadas eram pesadas em matemática, mas estou procurando mais por razões intuitivas e regras práticas.

1. Motivo da rotação . As rotações são feitas para fins de interpretação dos fatores extraídos na análise fatorial (ou componentes no PCA, se você se aventurar a usar o PCA como uma técnica de análise fatorial). Você está certo quando descreve sua compreensão. A rotação é feita na busca de alguma estrutura da matriz de carregamento, que pode ser chamada de estrutura simples . É quando fatores diferentes tendem a carregar variáveis ​​diferentes 1$^1$. [Eu acredito que é mais correto dizer que "um fator carrega uma variável" do que "uma variável carrega um fator", porque é o fator que está nas variáveis ​​"in" ou "behind" para fazê-las se correlacionar, mas você pode dizer como você preferir.] Em certo sentido, a estrutura simples típica é onde "agrupamentos" de variáveis ​​correlatas aparecem. Você interpreta um fator como o significado que está na interseção do significado das variáveis ​​que são carregadas o suficiente pelo fator; assim, para receber significado diferente, os fatores devem carregar variáveis ​​de maneira diferenciada. Uma regra prática é que um fator deve carregar decentemente pelo menos três variáveis.

2. Conseqüências . A rotação não altera a posição das variáveis ​​entre si no espaço dos fatores, ou seja, as correlações entre variáveis ​​estão sendo preservadas. O que mudou são as coordenadas dos pontos finais dos vetores variáveis ​​nos eixos dos fatores - as cargas (pesquise neste site por "plotagem de carregamento" e "biplot", para mais) 2 . Após uma rotação ortogonal da matriz de carregamento, as variações de fatores são alteradas, mas os fatores permanecem não correlacionados e as comunalidades variáveis ​​são preservadas.$^2$

   Em uma rotação oblíqua, os fatores podem perder sua correlação se isso produzir uma "estrutura simples" mais clara. No entanto, a interpretação de fatores correlacionados é uma arte mais difícil, porque você precisa derivar significado de um fator para que não contamine o significado de outro com o qual se correlaciona. Isso implica que você deve interpretar fatores, digamos, em paralelo, e não um por um. Folhas rotação oblíqua-lo com duas matrizes de cargas, em vez de um padrão de matriz: $\bf P$ e matriz de estrutura $\bf S$ . ( $\bf S=PC$ , onde $\bf C$ é a matriz de correlações entre os fatores; $\bf C=Q'Q$, onde $\bf Q$ é a matriz de rotação oblíqua: $\bf S=AQ$ , onde $\bf A$ era a matriz de carregamento antes de qualquer rotação.) A matriz padrão é a matriz de pesos regressivos pelos quais os fatores predizem variáveis, enquanto a matriz estrutural é a correlação (ou covariâncias) entre fatores e variáveis. Na maioria das vezes, interpretamos fatores por cargas de padrão, porque esses coeficientes representam o investimento individual exclusivo do fator em uma variável. A rotação oblíqua preserva comunalidades variáveis, mas as comunalidades não são mais iguais à soma das linhas dos quadrados em $\bf P$ ou em $\bf S$. Além disso, como os fatores se correlacionam, suas variações se sobrepõem parcialmente 3 .$^3$

   $^4$

3. Escolha . Existem muitas formas de rotações ortogonais e oblíquas. Por quê? Primeiro, porque o conceito de "estrutura simples" não é unívoco e pode ser formulado de maneira um pouco diferente. Por exemplo, varimax - o método ortogonal mais popular - tenta maximizar a variação entre os valores quadrados das cargas de cada fator; o método ortogonal às vezes usado quartimax minimiza o número de fatores necessários para explicar uma variável e geralmente produz o chamado "fator geral". Segundo, rotações diferentes visam objetivos laterais diferentes, além da estrutura simples. Não vou entrar em detalhes desses tópicos complexos, mas você pode ler sobre eles por si mesmo.

   $^5$(embora cada um tenha suas próprias inclinações) permite, mas não força, fatores a se correlacionarem e, portanto, são menos restritivos. Se a rotação oblíqua mostrar que os fatores estão apenas fracamente correlacionados, você pode ter certeza de que "na realidade" é assim e, em seguida, você pode recorrer à rotação ortogonal com boa consciência. Se os fatores, por outro lado, são muito correlacionados, parece natural (para traços latentes conceitualmente distintos, especialmente se você estiver desenvolvendo um inventário em psicologia ou algo assim - lembre-se de que um fator é um traço univariado, não um lote de fenômenos) e convém extrair menos fatores ou, em alternativa, usar os resultados oblíquos como a origem do lote para extrair os chamados fatores de segunda ordem.

$^1$

Isso é para AF puramente exploratório, enquanto se você estiver fazendo e refazendo FA para desenvolver um questionário, eventualmente desejará eliminar todos os pontos, exceto os azuis, desde que tenha apenas dois fatores. Se houver mais de dois fatores, você desejará que os pontos vermelhos fiquem azuis para alguns dos lotes de carregamento de outros fatores.

$^2$

$^3$$\bf S$$\bf S$$\bf A$$1-R_i^2$$\bf C^{-1}$

$^4$

$^5$(geralmente) ou sem ele. A normalização torna todas as variáveis ​​igualmente importantes na rotação.

Alguns tópicos para leitura adicional:

Pode haver razão para não rotacionar os fatores?

Qual matriz interpretar após a rotação oblíqua - padrão ou estrutura?

O que significam os nomes das técnicas de rotação de fatores (varimax, etc.)?

O PCA com componentes girados ainda é PCA ou é uma análise fatorial?