Por que o PCA é sensível a valores discrepantes?

Existem muitos posts neste SE que discutem abordagens robustas para a análise de componentes principais (PCA), mas não consigo encontrar uma única boa explicação de por que o PCA é sensível a discrepâncias em primeiro lugar.

machine-learning pca outliers Psi
fonte

Porque a contribuição da norma L2 é muito alta para discrepantes. Então, ao minimizar a norma L2 (que é o que o PCA tenta fazer), esses pontos serão mais difíceis de ajustar do que os pontos mais próximos da vontade média.

mathreadler

Esta resposta diz tudo o que você precisa. Apenas imagine um outlier e leia atentamente.

S. Kolassa - Restabelece Monica

Respostas:

$L_2$ $Y$ $m$ $n$ $X$ $k$ $n$

‖ Y - X A ‖_{F}^{2} = \sum_{j = 1}^{m} ‖ Y_{j} - X A_{j .} ‖^{2}

$\lVert Y-XA \rVert^2_F = \sum_{j=1}^{m} \lVert Y_j - X A_{j.} \rVert^2$

A

$A$

‖ \cdot ‖_{F}

$\lVert \cdot \rVert_F$

Como o PCA minimiza as normas (ou seja, normas quadráticas), ele tem os mesmos problemas de mínimos quadrados ou é adequado a um gaussiano por ser sensível a valores extremos. Por causa da quadratura dos desvios dos valores discrepantes, eles dominam a norma total e, portanto, acionam os componentes do PCA. $L_2$

sega_sai
fonte