Técnica não ortogonal análoga à PCA

Suponha que eu tenha um conjunto de dados de ponto 2D e queira detectar as direções de todos os máximos locais de variação nos dados, por exemplo:

O PCA não ajuda nessa situação, pois é uma decomposição ortogonal e, portanto, não pode detectar ambas as linhas que eu indiquei em azul; sua saída pode parecer com a mostrada pelas linhas verdes.

Por favor, recomende qualquer técnica que possa ser adequada para esse fim. Obrigado.

A Análise Independente de Componentes deve ser capaz de fornecer uma boa solução. É capaz de decompor componentes não ortogonais (como no seu caso) assumindo que suas medidas resultam de uma mistura de variáveis ​​estatisticamente independentes.

Existem muitos bons tutoriais na Internet e silenciamos algumas implementações disponíveis gratuitamente para experimentar (por exemplo, no scikit ou MDP ).

Quando o ICA não funciona?

Como outros algoritmos, o ICA é ideal quando as suposições para as quais foi derivado se aplicam. Concretamente,

1. fontes são estatisticamente independentes
2. os componentes independentes são não gaussianos
3. a matriz de mistura é invertível

A ICA retorna uma estimativa da matriz de mistura e dos componentes independentes.

$x_{1}$$x_{2}$$N(0,I)$

$||.||$$R$$||R\mathbf{x}|| = ||\mathbf{x}||$

Existem procedimentos semelhantes ao PCA para o caso "oblíquo". Em softwares estatísticos como o SPSS (e possivelmente também em seu clone de freeware), o PSPP encontra as chamadas rotações oblíquas equivalentes, e instâncias delas nomeadas como "oblimin", "promax" e algo mais. Se eu entendo as coisas corretamente, o software tenta "retangularizar" as cargas fatoriais recalculando suas coordenadas em um espaço ortogonal e euclidiano (como, por exemplo, mostrado na figura) em coordenadas de um espaço cujos eixos não são ortogonais, talvez com alguma técnica conhecida por regressão múltipla. Além disso, acho que isso funciona apenas iterativamente e consome um ou mais graus de liberdade nos testes estatísticos do modelo.

de comparação PCA e rotação oblíqua
O manual de referência do SPSS (no site da IBM) para rotações oblíquas contém fórmulas uniformes para o cálculo.

[Atualização] (Ups, desculpe, verifiquei se o PSPP não fornece "rotações" do tipo oblíquo)

Não tenho muita experiência com isso, mas o PCA generalizado de Vidal, Ma e Sastry foi criado para um problema muito semelhante.

As outras respostas já deram algumas dicas úteis sobre técnicas que você pode considerar, mas ninguém parece ter apontado que sua suposição está errada: as linhas mostradas em azul na sua imagem esquemática NÃO são os máximos locais da variação.

$\mathbf{w}$$\mathbf{w}^\top\mathbf{\Sigma}\mathbf{w}$$\mathbf{\Sigma}$$\mathbf{w}$$\lambda(\mathbf{w}^\top\mathbf{w}-1)$$\lambda$

$\mathbf{w}$