O que faz um classificador classificar incorretamente os dados? [fechadas]

Poderia ser a partir dos próprios dados? Ou é porque o modelo não pode detectar com eficiência as semelhanças entre os dados ou existem outras razões para classificar incorretamente?

Vamos supor que você esteja falando de má classificação nos dados de treinamento, ou seja, difícil minimizar a perda no conjunto de dados de treinamento, sem problemas de excesso de dados de teste envolvidos.

Você está certo de que, na maioria dos casos, a classificação incorreta pode vir de "o modelo é muito simples" ou "os dados são muito ruidosos". Eu gostaria de dar dois exemplos para ilustrar melhor.

1. O modelo é "muito simples" para capturar os "padrões nos dados".

   • O exemplo é mostrado na figura esquerda. Suponha que desejemos usar uma regressão logística / uma linha para separar duas classes, mas as duas classes não são separáveis ​​linearmente.

   • Nesse caso, ainda existem "padrões notáveis ​​nos dados" e, se mudarmos o modelo, podemos melhorar. Por exemplo, se usarmos o classificador KNN, em vez de regressão logística, podemos ter um desempenho muito bom.

2. Os dados têm muito ruído, é muito difícil executar a tarefa de classificação.

   • O exemplo é mostrado na figura à direita, onde, se você verificar o código, verá duas classes muito semelhantes (duas classes são 2D gaussianas, a média é de , mas o desvio padrão para cada classe é 1,0 ) . É essencialmente uma tarefa muito desafiadora.$0.01\times 2$$1.0$

Observe que os dois exemplos são triviais, pois podemos visualizar os dados e o classificador. No mundo real, não é o caso, quando temos milhões de pontos de dados e classificadores super complicados.

Código:

library(mlbench)
set.seed(0)
par(mfrow=c(1,2))
d=mlbench.spirals(500)
plot(d)
lg_fit=glm(d$classes~d$x[,1]+d$x[,2]-1,family=binomial())
abline(0,-lg_fit$coefficients[1]/lg_fit$coefficients[2])

d2=mlbench.2dnormals(500,r=0.01)
plot(d2)

Além de @ hxd1011 (+1).

1. Desequilíbrio de classe em termos relativos ou termos absolutos. Nos dois casos, construímos uma representação inadequada da classe de interesse. Normalmente, o mais tarde é mais difícil de superar. (Referência de exemplo: Aprendendo com dados desequilibrados por He e Garcia)
2. Critérios de classificação inadequados. Treinamos nosso classificador usando uma função de avaliação inadequada e / ou usamos critérios inadequados para derivar nossa solução final. Problema muito comum ao usar "soluções em lata". (Exemplo de referência: danos causados ​​pela precisão da classificação e outras regras de pontuação de precisão inadequada descontínua por Harrell)
3. Não há aula na realidade. Desejamos que haja algo lá, mas realmente não há nada. Geralmente, a experiência em domínio afasta as pessoas disso, mas como um recém-chegado, isso sempre é um problema. (Exemplo de referência: Nossa vida diária. Viés de publicação provavelmente também é um problema aqui ...)
4. Sobreajuste. Temos um modelo decente e um conjunto de dados decente, mas falhamos em treinar a construção apropriada de um modelo irrealista. Geralmente, isso se refere ao ponto 2. (Pontos extras para adaptação insuficiente!) (Referência de exemplo: The Problem of Overfitting by Hawkings)
5. Deriva do conceito. As coisas mudam e nós não treinamos novamente. Nosso classificador tem excelente desempenho em nossa amostra de marketing "Vendas de Natal" - sim, usar este modelo em julho provavelmente será uma dor ... (Referência de exemplo: Uma pesquisa sobre adaptação de deriva de conceito de Gama et al.)
6. Vazamento de dados / recursos mágicos. Treinamos a partir de informações que não estarão disponíveis no momento da previsão. Comum quando há dados de eventos / séries temporais. (Exemplo de referência: vazamento na mineração de dados: formulação, detecção e prevenção por Kaufman et al.)