A incorporação de vizinho estocástico distribuído em T (t-SNE) é um algoritmo de redução de dimensionalidade não linear introduzido por van der Maaten e Hinton em 2008.
Eu tenho um aplicativo em que seria útil agrupar um conjunto de dados barulhento antes de procurar efeitos de subgrupos nos clusters. Olhei pela primeira vez para o PCA, mas são necessários ~ 30 componentes para atingir 90% da variabilidade; portanto, agrupar apenas alguns PCs descartará muita...
Quero ver como 7 medidas de comportamento de correção de texto (tempo gasto corrigindo o texto, número de pressionamentos de tecla etc.) se relacionam. As medidas estão correlacionadas. Executei um PCA para ver como as medidas projetavam no PC1 e PC2, o que evitava a sobreposição de executar testes...
Na minha opinião, a divergência de KL da distribuição da amostra para a distribuição verdadeira é simplesmente a diferença entre entropia cruzada e entropia. Por que usamos a entropia cruzada para ser a função de custo em muitos modelos de aprendizado de máquina, mas usamos a divergência de...
Citando um dos autores: A Incorporação Estocástica de Vizinhança Distribuída t (SNE) é uma técnica ( premiada ) para redução de dimensionalidade que é particularmente adequada para a visualização de conjuntos de dados de alta dimensão. Parece ótimo, mas esse é o autor falando. Outra citação...
Em uma tarefa recente, fomos instruídos a usar o PCA nos dígitos do MNIST para reduzir as dimensões de 64 (8 x 8 imagens) para 2. Em seguida, tivemos que agrupar os dígitos usando um Modelo de Mistura Gaussiana. O PCA que usa apenas dois componentes principais não produz clusters distintos e, como...
Eu tenho uma matriz de números de ponto flutuante 336x256 (336 genomas bacterianos (colunas) x 256 frequências tetranucleotídicas normalizadas (linhas), por exemplo, todas as colunas somam 1). Eu obtenho bons resultados quando executo minha análise usando a análise de componentes principais....
Eu tenho lido muito sobre o algoritmo sne para redução de dimensionalidade. Estou muito impressionado com o desempenho em conjuntos de dados "clássicos", como o MNIST, onde ele consegue uma separação clara dos dígitos ( consulte o artigo original ):ttt Também o usei para visualizar os recursos...
Ultimamente, tenho lido algumas perguntas sobre t-SNE ( Incorporação estocástica de vizinhos t-distribuídos ) e também visitou algumas perguntas sobre MDS ( Multidimensional Scaling ). Eles costumam ser usados de forma análoga; portanto, parecia uma boa idéia fazer essa pergunta, pois há muitas...
Meu entendimento do t-SNE e da aproximação de Barnes-Hut é que todos os pontos de dados são necessários para que todas as interações de força possam ser calculadas ao mesmo tempo e que cada ponto possa ser ajustado no mapa 2d (ou menor dimensão). Existem versões do t-sne que podem lidar...
Alguns dos recursos de meus dados têm valores grandes, enquanto outros possuem valores muito menores. É necessário centralizar os dados na escala + antes de aplicar o t-SNE para evitar desvios para valores maiores? Eu uso a implementação sklearn.manifold.TSNE do Python com a métrica de distância...
Eu tenho um doutorado em biologia molecular. Meus estudos começaram recentemente a envolver análise de dados de alta dimensão. Tive a ideia de como o t-SNE funciona (graças a um vídeo do StatQuest no YouTube ), mas não consigo entender o UMAP (ouvi a palestra do criador do UMAP on-line, mas não...
No problema específico em que trabalho (uma competição), tenho a seguinte configuração: 21 recursos (numéricos em [0,1]) e uma saída binária. Eu tenho aproximadamente 100 mil linhas. A configuração parece ser muito barulhenta. Eu e outros participantes aplicamos a geração de recursos por um tempo...
Atualmente, estou tentando entender a matemática do t-SNE . Infelizmente, ainda há uma pergunta que não consigo responder satisfatoriamente: qual é o significado real dos eixos em um gráfico t-SNE? Se eu fosse fazer uma apresentação sobre esse tópico ou incluí-lo em qualquer publicação: Como...
Vamos supor que temos um problema de classificação e, inicialmente, queremos obter algumas informações dos dados e fazemos o t-SNE. O resultado do t-SNE separa muito bem as classes. Isso implica que é possível criar um modelo de classificação que também irá separar muito bem as classes (se t-SNE...
Em que situações devemos usar o t-SNE (além da visualização de dados)? O T-SNE é usado para redução de dimensionalidade. A resposta a esta pergunta sugere que o t-SNE deve ser usado apenas para visualização e que não devemos usá-lo para agrupamento. Então, qual é o bom uso do...
Tanto quanto eu sei, os autoencoders e o t-SNE são usados para redução de dimensionalidade não linear. Quais são as diferenças entre eles e por que devo usar um contra o
Eu sou muito novo em casamentos de palavras. Quero visualizar como os documentos estão cuidando da aprendizagem. Eu li que t-SNE é a abordagem para fazê-lo. Tenho 100 mil documentos com 250 dimensões como o tamanho da incorporação. Existem vários pacotes disponíveis também. No entanto, para t-SNE,...
Atualmente, estou investigando a visualização de dados de alta dimensão usando t-SNE. Eu tenho alguns dados com variáveis binárias e contínuas mistas e os dados parecem agrupar os dados binários com muita facilidade. Obviamente, isso é esperado para dados em escala (entre 0 e 1): a distância...
Atualmente, estou lendo a técnica de visualização t-SNE e foi mencionado que uma das desvantagens do uso da análise de componentes principais (PCA) para visualizar dados de alta dimensão é que ela preserva apenas grandes distâncias em pares entre os pontos. Os pontos de significado que estão...
Configuração do problema Eu tenho pontos de dados (imagens) de alta dimensão (4096), que estou tentando visualizar em 2D. Para esse fim, estou usando t-sne de maneira semelhante ao código de exemplo a seguir de Karpathy . A documentação do scikit-learn recomenda o uso do PCA para diminuir...