Quais são as diferenças entre PCA e autoencoder?

O PCA e o autoencoder podem reduzir a demension, então, qual é a diferença entre eles? Em que situação devo usar um sobre o outro?

O PCA é restrito a um mapa linear, enquanto os codificadores automáticos podem ter codificadores / decodificadores não lineares.

Um codificador automático de camada única com função de transferência linear é quase equivalente ao PCA, onde quase significa que o encontrado pelo AE e pelo PCA não será o mesmo - mas o subespaço medido pelo respectivo W será.$W$$W$

Como bayerj aponta, o PCA é um método que assume sistemas lineares onde os Autoencoders (AE) não. Se nenhuma função não linear for usada no EA e o número de neurônios na camada oculta for de menor dimensão, então o da entrada então o PCA e o EA poderão produzir o mesmo resultado. Caso contrário, o EA poderá encontrar um subespaço diferente.

Uma coisa a notar é que a camada oculta em um EA pode ser de maior dimensionalidade do que a da entrada. Nesses casos, os EA podem não estar reduzindo a dimensionalidade. Nesse caso, nós os percebemos fazendo uma transformação de um espaço de recurso para outro, em que os dados no novo espaço de recurso separam fatores de variação.

$O(2^N)$$O(N)$

Isso é mais adequado como comentário, mas como eu não tenho a reputação de que isso será dado como resposta.

Um tanto confuso com a noção de quase na resposta de bayerj: s. Leitura de redes neurais e análise de componentes principais: aprendendo com exemplos sem mínimos locais onde a prova é fornecida.

$p$$\Sigma_{XX}$

Este não é exatamente o espaço correspondente, conforme estendido pelo PCA?

$\{\mathbf{x}_i \in \mathbb{R}^n \}_{i=1}^N$$N$ $n-$$X$$\mathbf{x}_1,\dots,\mathbf{x}_N$

$\hat{\mathbf{x}}$$W_1\in \mathbb{R}^{n \times m}$$W_2\in \mathbb{R}^{m \times n}$$m < n$

$m$$W_2$$m$$X$

$W_2$$m$$X$$X$$n \times N$$W_2$$m\times n$$W_2$$O(m^2n)$$X$$O(n^2N)$$m < n$