TL; DR: dado um grande conjunto de dados de imagem (cerca de 36 GiB de pixels brutos) de dados não rotulados, como posso agrupar as imagens (com base nos valores de pixel) sem saber o número de clusters Kpara começar? Atualmente, estou trabalhando em um projeto de aprendizado não supervisionado...
Preciso obter a probabilidade de cada ponto no meu conjunto de dados. A idéia é calcular a matriz de distâncias (a primeira coluna conecta as distâncias ao primeiro cluster, a segunda coluna conte as distâncias ao segundo cluster e etc). O ponto mais próximo tem probabilidade = 1, o mais distante...
Quais métricas podem ser usadas para avaliar modelos de cluster de texto? Eu usei tf-idf+ k-means, tf-idf+ hierarchical clustering, doc2vec+ k-means (metric is cosine similarity), doc2vec+ hierarchical clustering (metric is cosine similarity). Como decidir qual modelo é o
Eu tenho um grande conjunto de pontos (ordem de 10k pontos) formados por trilhas de partículas (movimento no plano xy no tempo filmado por uma câmera, de modo que quadros 3d - 256x256px e ca 3k no meu exemplo) e ruído. Essas partículas viajam aproximadamente em linhas retas aproximadamente (mas...
Eu tenho uma grande sequência de vetores de comprimento N. Preciso de algum algoritmo de aprendizado não supervisionado para dividir esses vetores em segmentos M. Por exemplo: O K-means não é adequado, porque coloca elementos semelhantes de locais diferentes em um único cluster. Atualizar: Os...
No cluster baseado em gráfico, por que é preferível usar o kernel Gaussiano em vez da distância entre dois pontos como métrica de
Eu tenho uma matriz que é preenchida com elementos discretos e preciso agrupá-los (usando R) em grupos intactos. Então, por exemplo, considere esta matriz: [A B B C A] [A A B A A] [A B B C C] [A A A A A] Haveria dois clusters separados para A, dois clusters separados para C e um cluster para...
Eu tenho um grande conjunto de dados (2 milhões de entradas) de pessoas, mas muitas pessoas têm várias entradas no banco de dados com informações de identificação ligeiramente (ou significativamente) diferentes. Por exemplo, eu posso ter J. Doe e John Doe, ou eu posso ter John Doe com um endereço...
Eu tenho um conjunto de dados com 10.000 genes como abaixo person gene1 gene2 ... gene10000 ethnic 1 0 1 1 asian 2 1 0 1 European Cada linha significa se uma pessoa tem um gene em seu DNA ou não. Estamos tentando classificar diferentes grupos étnicos com base nos dados acima. Mas primeiro...
Quais métodos existem para o cálculo da distância em cluster? como Manhattan, Euclidiana, etc.? Além disso, não sei quando devo usá-los. Eu sempre uso a distância
Minha empresa fornece serviços gerenciados para muitos de seus clientes. Nossos clientes geralmente usam as seguintes ferramentas de monitoramento para monitorar seus servidores / aplicativos da web: OpsView Nagios Pingdom Scripts de shell customizados Sempre que qualquer problema é encontrado,...
Eu tenho um grande conjunto de dados de texto em cluster. Cada cluster é representado por um centróide dos textos vetorizados que pertencem a ele, o número de textos, a data de criação e outros parâmetros. Não consigo plotar os agrupamentos em um espaço n-dimensional. Quais opções eu...
O que estou tentando fazer: Estou tentando classificar algumas imagens usando recursos locais e globais. O que eu fiz até agora: Eu extraí descritores de peneiração para cada imagem e estou usando isso como minha entrada para k-means para criar meu vocabulário a partir de todos os recursos de...