Redução eficiente da dimensionalidade para grandes conjuntos de dados

Eu tenho um conjunto de dados com ~ 1M linhas e ~ 500K recursos esparsos. Quero reduzir a dimensionalidade para algum lugar da ordem dos recursos densos de 1 a 5 mil.

sklearn.decomposition.PCAnão funciona com dados esparsos e tentei usar, sklearn.decomposition.TruncatedSVDmas obtive um erro de memória rapidamente. Quais são as minhas opções para redução eficiente da dimensionalidade nessa escala?

Você já ouviu falar em aproximação e projeção de coletores uniformes (UMAP) ?

UMAP (Aproximação e projeção do coletor uniforme) é uma nova técnica de aprendizado de coletores para redução de dimensão não linear. O UMAP é construído a partir de uma estrutura teórica baseada na geometria de Riemann e na topologia algébrica. O resultado é um algoritmo escalável prático que se aplica a dados do mundo real. O algoritmo UMAP é competitivo com o t-SNE pela qualidade da visualização e, sem dúvida, preserva mais da estrutura global com desempenho superior em tempo de execução. Além disso, o UMAP, conforme descrito, não possui restrições computacionais na dimensão de incorporação, tornando-o viável como uma técnica de redução de dimensão de uso geral para aprendizado de máquina.

Verifique o código e o papel original para obter uma lista de prós e contras, é super fácil de usar.

Fatos rápidos: O UMAP pode lidar com grandes conjuntos de dados e é mais rápido que o t-SNE e também suporta o ajuste de dados de matriz esparsos, e ao contrário do t-SNE, uma técnica de redução de dimensão de uso geral, o que significa que não apenas ele pode ser usado para visualização, mas também para reduzir o espaço de recursos para alimentar outros modelos de aprendizado de máquina.

Exemplos concretos: comparei o método e o comparei com outras técnicas de redução de dimensionalidade do notebook de referência , se estiver interessado em dar uma olhada rápida e dar um salto inicial.

Caso as pessoas que se deparem com este post achem que o UMAP não é eficiente o suficiente, aqui estão algumas outras técnicas que me deparei que são ainda mais eficientes (mas não de alta qualidade):

• $d~\times~m$$d$$m$sklearn.random_projection

• $m$$m$sklearn.feature_extraction.FeatureHasher