Os cinco principais classificadores para experimentar primeiro

Além das características óbvias do classificador, como

• custo computacional,
• tipos de dados esperados de recursos / etiquetas e
• adequação a determinados tamanhos e dimensões de conjuntos de dados,

Quais são os cinco principais classificadores (ou 10, 20?) para experimentar primeiro um novo conjunto de dados sobre o qual ainda não se sabe muito (por exemplo, semântica e correlação de recursos individuais)? Normalmente, eu tento Naive Bayes, Vizinho Mais Próximo, Árvore de Decisão e SVM - embora não tenha bons motivos para essa seleção além de conhecê-los e principalmente entender como eles funcionam.

Acho que se deve escolher classificadores que cubram as abordagens gerais de classificação mais importantes . Qual seleção você recomendaria, de acordo com esse critério ou por qualquer outro motivo?

ATUALIZAÇÃO: Uma formulação alternativa para essa pergunta poderia ser: "Quais abordagens gerais de classificação existem e quais métodos específicos cobrem os mais importantes / populares / promissores?"

Random Forest

Rápida, robusta, boa precisão, na maioria dos casos, nada para sintonizar, não requer normalização, imune à colinearidade, gera uma aproximação de erro bastante boa e classificação de importância útil como um efeito colateral do treinamento, trivialmente paralelo, prediz em um piscar de olhos.

Desvantagens: métodos mais lentos que triviais, como kNN ou NB, funcionam melhor com classes iguais, pior precisão que o SVM para problemas que exigem desesperadamente truques do kernel, é uma caixa preta dura, não faz café.

Classificador de processo Gaussiano (não usando a aproximação de Laplace), preferencialmente com marginalização ao invés de otimização dos hiperparâmetros. Por quê?

1. porque eles dão uma classificação probabilística
2. você pode usar uma função do kernel que permite operar diretamente em dados não vetoriais e / ou incorporar conhecimento especializado
3. eles lidam com a incerteza ao ajustar o modelo corretamente, e você pode propagar essa incerteza até o processo de tomada de decisão
4. desempenho preditivo geralmente muito bom.

Desvantagens

1. lento
2. requer muita memória
3. impraticável para problemas de grande escala.

A primeira escolha, porém, seria regressão logística regularizada ou regressão de crista [sem seleção de recurso] - para a maioria dos problemas, algoritmos muito simples funcionam muito bem e são mais difíceis de errar (na prática, as diferenças de desempenho entre algoritmos são menores que as diferenças de desempenho entre o operador que os conduz).

Sozinho, quando você está se aproximando de um novo conjunto de dados, deve começar a observar todo o problema. Primeiro, obtenha uma distribuição para recursos categóricos e desvios médios e padrão para cada recurso contínuo. Então:

• Excluir recursos com mais de X% de valores ausentes;
• Exclua recursos categóricos quando um valor específico atingir mais de 90 a 95% da frequência relativa;
• Exclua recursos contínuos com CV = std / mean <0.1;
• Obtenha uma classificação de parâmetros, por exemplo, ANOVA para contínua e Qui-quadrado para categórica;
• Obtenha um subconjunto significativo de recursos;

Normalmente, divido as técnicas de classificação em 2 conjuntos: técnica de caixa branca e caixa preta. Se você precisar saber 'como o classificador funciona', deverá escolher no primeiro conjunto, por exemplo, árvores de decisão ou classificadores baseados em regras.

Se você precisar classificar novos registros sem criar um modelo, deve dar uma olhada no aluno ansioso, por exemplo, KNN.

Depois disso, acho melhor ter um limite entre precisão e velocidade: a Rede Neural é um pouco mais lenta que o SVM.

Esta é a minha cinco principais técnicas de classificação:

1. Árvore de Decisão;
2. Classificadores baseados em regras;
3. SMO (SVM);
4. Baías ingénuas;
5. Redes neurais.