Qual é a diferença entre PCA regular e PCA probabilístico?

15

Eu sei que o PCA regular não segue o modelo probabilístico dos dados observados. Então, qual é a diferença básica entre PCA e PPCA ? No PPCA, o modelo de variável latente contém, por exemplo, variáveis ​​observadas y , latentes (variáveis ​​não observadas ) e uma matriz que não precisa ser ortonormal como na PCA comum. Mais uma diferença que eu consigo pensar no PCA comum apenas fornece componentes principais, onde o PPCA fornece a distribuição probabilística dos dados.WxW

Alguém poderia, por favor, esclarecer melhor as diferenças entre PCA e PPCA?

pca vendeta
fonte
2
Veja aqui .
Ami Tavory
11
+1. Veja minhas respostas aqui stats.stackexchange.com/questions/208731 e também aqui stats.stackexchange.com/questions/203087 . Você leu os slides aos quais vinculou? Eles parecem explicar tudo em detalhes. Você pode acompanhar essa exposição ou é muito complicado?
Ameba diz Reinstate Monica
@amoeba, segui os slides, vejo algumas diferenças, no entanto, não me dá uma intuição clara de que o que o PPCA pode fazer que o PCA não pode fazer? O que acontece tecnicamente através da introdução de variáveis ​​latentes? A estimativa de covariância como no PPCA também pode ser feita no PCA regular? Se você pode adicionar uma resposta que seria realmente útil
Vendetta
@amoeba, essas duas perguntas são muito bem respondidas. Particularmente a questão do principal subespaço no PCA probabilístico. Isso me dá mais intuição para entender a estimativa dos principais componentes de W.
Vendetta
OK, tentarei postar uma resposta, mas estou bastante ocupado atualmente. Vou tentar encontrar tempo nesta semana, mas posso adiá-lo para a próxima semana. (+1 a propósito)
ameba diz Reinstate Monica

Respostas:

9

O objetivo do PPCA não é fornecer melhores resultados que o PCA, mas permitir uma ampla gama de extensões e análises futuras. O artigo apresenta algumas das vantagens claramente na introdução, por exemplo:

"a definição de uma medida de verossimilhança permite uma comparação com outras técnicas probabilísticas, facilitando o teste estatístico e permitindo a aplicação de modelos bayesianos".

Os modelos bayesianos, em particular, estão desfrutando de um enorme renascimento recentemente, por exemplo, VAE, "Bayes variacional de codificação automática", https://arxiv.org/abs/1312.6114 . A extensão do PCA para ser utilizável em estruturas variacionais e similares tem o potencial de outro pesquisador dizer 'Ah, ei, e se eu fizer ...?'

Hugh Perkins
fonte