A análise de cluster é a tarefa de particionar dados em subconjuntos de objetos de acordo com sua "similaridade" mútua, sem usar conhecimento preexistente, como rótulos de classe. [Erros-padrão-cluster e / ou amostras-cluster devem ser marcados como tal; NÃO use a tag "clustering" para eles.]
K-means é um método amplamente utilizado na análise de agrupamentos. No meu entendimento, esse método NÃO requer QUALQUER suposição, ou seja, me forneça um conjunto de dados e um número pré-especificado de clusters, k, e apenas aplico esse algoritmo que minimiza a soma dos erros ao quadrado (SSE),...
Li que "a distância euclidiana não é uma boa distância em grandes dimensões". Acho que essa afirmação tem algo a ver com a maldição da dimensionalidade, mas o que exatamente? Além disso, o que são 'altas dimensões'? Tenho aplicado clustering hierárquico usando distância euclidiana com 100 recursos....
Estou trabalhando em um pequeno projeto que envolve os rostos dos usuários do twitter através de suas fotos de perfil. Um problema que encontrei é que, depois de filtrar todas as imagens, exceto as fotos nítidas, uma porcentagem pequena, mas significativa, dos usuários do twitter usa uma foto de...
Como você saberia se seus dados (de alta dimensão) exibem agrupamentos suficientes para que os resultados de kmeans ou outro algoritmo de agrupamento sejam realmente significativos? Para o algoritmo k-means, em particular, quanto de redução na variação dentro do cluster deve haver para que os...
Estou começando a se envolver com o uso de glmnetcom LASSO Regressão onde meu desfecho de interesse é dicotômica. Criei um pequeno quadro de dados simulado abaixo: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67,...
Eu tenho um aplicativo em que seria útil agrupar um conjunto de dados barulhento antes de procurar efeitos de subgrupos nos clusters. Olhei pela primeira vez para o PCA, mas são necessários ~ 30 componentes para atingir 90% da variabilidade; portanto, agrupar apenas alguns PCs descartará muita...
Ao usar a análise de cluster em um conjunto de dados para agrupar casos semelhantes, é preciso escolher entre um grande número de métodos de cluster e medidas de distância. Às vezes, uma escolha pode influenciar a outra, mas existem muitas combinações possíveis de métodos. Alguém tem alguma...
Vi em algum lugar que distâncias clássicas (como a distância euclidiana) se tornam fracamente discriminantes quando temos dados multidimensionais e esparsos. Por quê? Você tem um exemplo de dois vetores de dados esparsos em que a distância euclidiana não apresenta bom desempenho? Nesse caso, que...
Existe um propósito específico em termos de eficiência ou funcionalidade porque o algoritmo k-means não usa, por exemplo, (des) semelhança de cosseno como uma métrica de distância, mas apenas pode usar a norma euclidiana? Em geral, o método K-means está em conformidade e correto quando outras...
É uma prática comum aplicar o PCA (análise de componentes principais) antes de um algoritmo de armazenamento em cluster (como k-means). Acredita-se que melhora os resultados do agrupamento na prática (redução de ruído). No entanto, estou interessado em um estudo comparativo e aprofundado da...
O cluster hierárquico pode ser representado por um dendograma. Cortar um dendrograma em um determinado nível fornece um conjunto de clusters. Cortar em outro nível fornece outro conjunto de clusters. Como você escolheria onde cortar o dendrograma? Existe algo que poderíamos considerar um ponto...
Encontramos os centros de cluster e atribuímos pontos a k diferentes compartimentos de cluster no cluster k-means, que é um algoritmo muito conhecido e é encontrado quase em todos os pacotes de aprendizado de máquina da rede. Mas a parte que falta e mais importante na minha opinião é a escolha de...
Eu entendo como um artificial neural network (ANN), pode ser treinado de maneira supervisionada usando a retropropagação para melhorar o ajuste, diminuindo o erro nas previsões. Ouvi dizer que uma RNA pode ser usada para aprendizado não supervisionado, mas como isso pode ser feito sem uma função de...
Eu tenho uma matriz (simétrica) Mque representa a distância entre cada par de nós. Por exemplo, ABCDEFGHIJKL A 0 20 20 20 40 60 60 60 100 120 120 120 B 20 0 20 20 60 80 80 80 120 140 140 140 C 20 20 0 20 60 80 80 80 120 140 140 140 D 20 20 20 0 60 80 80 80 120 140 140 140 E 40 60 60 60 0 20 20 20...
Qual é a diferença entre um problema de várias classes e um problema de várias
Estudei algoritmos para agrupar dados (aprendizado não supervisionado): EM e k-means. Eu continuo lendo o seguinte: O k-means é uma variante do EM, com as suposições de que os clusters são esféricos. Alguém pode explicar a frase acima? Eu não entendo o que significa esférico e como kmeans e EM...
Com relação ao aprendizado não supervisionado (como cluster), existem métricas para avaliar o
Eu tenho dados de vendas para uma série de pontos de venda e quero categorizá-los com base no formato de suas curvas ao longo do tempo. Os dados são mais ou menos assim (mas obviamente não são aleatórios e têm alguns dados ausentes): n.quarters <- 100 n.stores <- 20 if...
Gostaria de saber se faz diferença na interpretação se apenas as variáveis dependentes, dependentes e independentes ou apenas as independentes são transformadas em log. Considere o caso de log(DV) = Intercept + B1*IV + Error Eu posso interpretar o IV como o aumento percentual, mas como isso...
Encontrei este tutorial , que sugere que você execute a função de escala nos recursos antes de agrupar (acredito que converte dados em z-scores). Eu estou querendo saber se isso é necessário. Estou perguntando principalmente porque há um bom ponto de cotovelo quando não dimensiono os dados, mas...