Eu tenho dados barulhentos de duas variáveis como esta.
x1 <- rep(seq(0,1, 0.1), each = 3000)
set.seed(123)
y1 <- rep (c(0.2, 0.8, 0.3, 0.9, 0.65, 0.35,0.7,0.1,0.25, 0.3, 0.95), each = 3000)
set.seed(1234)
e1 = rnorm(length(x1), 0.07,0.07)
set.seed(1223)
e2 = rnorm(length(x1), 0.07,0.07)
set.seed(1334)
yn <- rnorm(20000, 0.5,0.9)
set.seed(2344)
xn <- rnorm(20000, 0.5,0.9)
y <- c(y1 + e1,yn)
x <- c(x1 + e2, xn)
plot(x,y, xlim=c(0,1.2), ylim = c(0,1.2), pch = ".", col = "gray40") Eu posso ver visualmente que existem 10 clusters em potencial.
No entanto, todos os dados têm muitos pontos espalhados:
plot(x,y, pch = ".", col = "gray40") 
Eu gostaria de fazer 10 clusters. Eu tentei a análise de cluster K-means.
xm1 <- cbind(x,y)
cl1 <- kmeans(xm1, 10)
colrs <- c("red", "green", "blue1", "pink", "green4","tan",
"gray40", "yellow", "black", "purple")
plot(xm1, col = colrs[cl1$cluster], pch = ".", xlim=c(0,1.2), ylim = c(0,1.2))
plot(xm1, col = colrs[cl1$cluster], pch = ".")
Existe alguma maneira (pode haver k-means do kernel, vizinhos mais próximos) que possam fazer mais justiça a esse tipo de dados. Se sim, como posso fazer isso?
r
machine-learning
clustering
rdorlearn
fonte
fonte
Respostas:
Como seus dados parecem ser compostos de misturas gaussianas, tente a modelagem de misturas gaussianas (aka: agrupamento EM). Isso deve produzir resultados muito superiores às médias k neste tipo de dados.
Se o seu "ruído" é distribuído uniformemente, você também pode adicionar uma distribuição uniforme ao seu modelo de mistura.
Se seus dados estiverem muito menos limpos, considere usar DBSCAN, MeanShift, OPTICS, HDBSCAN *, ... - cluster com base na densidade parece ser apropriado para esses dados. O DBSCAN também é muito tolerante ao ruído (o "N" é para ruído).
fonte
Eu recomendo que você analise este artigo. Os autores propõem um método robusto onde os outliers são removidos e o restante dos dados é agrupado. É por isso que eles chamaram o método "aparar". Havia também um pacote R tclust, mas de acordo com isso , ele foi removido do CRAN. De qualquer forma, vale a pena ler o artigo.
fonte