Estou usando a análise semântica latente para representar um corpus de documentos no espaço dimensional inferior. Quero agrupar esses documentos em dois grupos usando k-means. Vários anos atrás, eu fiz isso usando o gensim do Python e escrevendo meu próprio algoritmo k-means. Eu determinei os...
Estou usando dados fictícios de temperatura versus vendas de sorvetes e categorizado usando K Keans (n clusters = 2) para distinguir duas categorias (totalmente fictícias). Agora estou fazendo uma análise de componentes principais nesses dados e meu objetivo é entender o que vejo. Eu sei que o...
Eu li muitos artigos que testam o k-means com muitos conjuntos de dados que normalmente não são distribuídos como o conjunto de dados da íris e obtêm bons resultados. Como entendo que o k-means é para dados normalmente distribuídos, por que o k-means está sendo usado para dados não distribuídos...
Gostaria de codificar um kmeans agrupado em python usando pandas e scikit learn. Para selecionar o bom k, gostaria de codificar a estatística Gap de Tibshirani e al 2001 ( pdf ). Gostaria de saber se poderia usar o resultado de inércia_ do scikit e adaptar a fórmula estatística de gap sem precisar...
Estou trabalhando em algum software que deve determinar locais do mundo real (câmaras de velocidade de fe) a partir de vários relatórios baseados em GPS . Um usuário estará dirigindo ao relatar um local, portanto os relatórios serão muito imprecisos. Para resolver esse problema, tenho que agrupar...
Gostaria de saber se existe uma boa maneira de calcular o critério de agrupamento com base na fórmula BIC, para uma saída k-Médias em R? Estou um pouco confuso sobre como calcular esse BIC para que eu possa compará-lo com outros modelos de cluster. Atualmente, estou usando a implementação do pacote...
Alguém conhece um bom método para determinar se o agrupamento usando kmeans é apropriado? Ou seja, e se sua amostra for realmente homogênea? Eu sei que algo como um modelo de mistura (via mclust em R) fornecerá estatísticas de ajuste para o caso de cluster 1: k, mas parece que todas as técnicas...
Suponha que eu tenha uma amostra de frequências de 4 eventos possíveis: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 e tenho as probabilidades esperadas de meus eventos ocorrerem: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Com a soma das frequências observadas dos meus quatro eventos (18), posso calcular as...
É mencionado aqui que um dos métodos para determinar o número ideal de clusters em um conjunto de dados é o "método do cotovelo". Aqui, a porcentagem de variação é calculada como a razão da variação entre os grupos e a variação total. Senti-me difícil ao entender esse cálculo. Alguém pode explicar...
Segundo o wiki, o critério de convergência mais utilizado é "a atribuição não mudou". Eu queria saber se o ciclismo pode ocorrer se usarmos esse critério de convergência? Eu ficaria satisfeito se alguém apontasse uma referência a um artigo que dê um exemplo de ciclismo ou prove que isso é...
Meu objetivo é ver que o algoritmo K-means é de fato o algoritmo de Expectativa-Maximização para misturas Gaussianas, em que todos os componentes têm covariância no limite como .σ2Iσ2I\sigma^2 Ilimσ→0limσ→0\lim_{\sigma \to 0} Suponha que temos um conjunto de dados {x1,…,xN}{x1,…,xN}\{x_1, \dots...
Então, percebo que isso já foi perguntado antes: por exemplo, quais são os casos de uso relacionados à análise de cluster de diferentes métricas de distância? mas achei as respostas um tanto contraditórias ao sugerido que deveriam ser possíveis na literatura. Recentemente, li dois artigos que...
Eu recebi a seguinte pergunta como uma pergunta de teste para o meu exame e simplesmente não consigo entender a resposta. Um gráfico de dispersão dos dados projetados nos dois primeiros componentes principais é mostrado abaixo. Desejamos examinar se existe alguma estrutura de grupo no conjunto de...
É sabido que o algoritmo k-means sofre na presença de outliers. O k-means ++ é um método eficaz para a initalização do centro de cluster. Eu estava analisando o PPT pelos fundadores do método, Sergei Vassilvitskii e David Arthur http://theory.stanford.edu/~sergei/slides/BATS-Means.pdf (slide 28),...
(Esta postagem é uma repostagem de uma pergunta que eu postei ontem (agora excluída), mas tentei reduzir o volume de palavras e simplificar o que estou perguntando) Espero obter ajuda na interpretação de um script e saída do kmeans que criei. Isso ocorre no contexto da análise de texto. Criei esse...
Nos métodos de agrupamento, como médias K , a distância euclidiana é a métrica a ser usada. Como resultado, calculamos apenas os valores médios em cada cluster. E então são feitos ajustes nos elementos com base em sua distância para cada valor médio. Fiquei me perguntando por que a função...
Eu sou bastante novo no reconhecimento de dígitos e notei que muitos tutoriais usam a classificação SVM, por
Alguém pode me dizer os fatores que afetam os requisitos de memória do cluster mean com um pouco de