Quero tentar usar SVMs (Support Vector Machines) no meu conjunto de dados. Antes de tentar o problema, fui avisado de que os SVMs não apresentam bom desempenho em dados extremamente desequilibrados. No meu caso, posso ter entre 95 e 98% de 0 e 2-5% de 1. Tentei encontrar recursos que falassem...
Eu tenho um conjunto de dados com alguns milhões de linhas e ~ 100 colunas. Gostaria de detectar cerca de 1% dos exemplos no conjunto de dados, que pertencem a uma classe comum. Eu tenho uma restrição de precisão mínima, mas devido ao custo muito assimétrico, não estou muito interessado em nenhum...
Eu queria saber se alguém poderia explicar a diferença entre precisão equilibrada, que é b_acc = (sensitivity + specificity)/2 e pontuação f1 que é: f1 = 2*precision*recall/(precision + recall)
Antes de mais, gostaria de descrever alguns layouts comuns que os livros de Data Mining usam para explicar como lidar com conjuntos de dados não balanceados . Normalmente, a seção principal é denominada Conjuntos de dados não balanceados e abrange estas duas subseções: Classificação sensível ao...
Estou tentando aumentar o gradiente em um conjunto de dados com taxa de eventos de cerca de 1% usando o Enterprise miner, mas está falhando em produzir qualquer saída. Minha pergunta é: como é uma abordagem baseada em árvore de decisão, é correto usar o aumento de gradiente com um evento tão...
O SVM lida com o conjunto de dados desequilibrado? Existem parâmetros (como C ou custo de classificação incorreta) que lidam com o conjunto de dados
PREFÁCIO: Eu não ligo para o mérito de usar um ponto de corte ou não, ou como alguém deve escolher um ponto de corte. Minha pergunta é puramente matemática e devido à curiosidade. A regressão logística modela a probabilidade condicional posterior da classe A versus a classe B e se ajusta a um...
Estou tentando resolver uma tarefa chamada detecção de pedestres e treino clasifer binário em duas categorias positivas - pessoas, negativos - antecedentes. Eu tenho um conjunto de dados: número de positivos = 3752 número de negativo = 3800 Eu uso train \ test split 80 \ 20% e...
Estou tentando fazer um detector de objetos que ocorrem muito raramente (em imagens), planejando usar um classificador binário da CNN aplicado em uma janela deslizante / redimensionada. Eu construí conjuntos de teste e treinamento positivo-negativos equilibrados 1: 1 (é a coisa certa a se fazer...
Gostaria de testar meu modelo treinado em um conjunto de dados desequilibrado. Existe algum algoritmo disponível para gerar dados sintéticos a partir de um conjunto de dados rotulado equilibrado (spam / não
Considere uma matriz de entrada e uma saída binária .XXXyyy Uma maneira comum de medir o desempenho de um classificador é usar curvas ROC. Em um gráfico ROC, a diagonal é o resultado que seria obtido de um classificador aleatório. No caso de uma saída desequilibrada o desempenho de um...
Estou executando uma análise sobre a probabilidade de inadimplência de empréstimos usando regressão logística e florestas aleatórias. Quando uso regressão logística, a previsão é sempre '1' (o que significa bom empréstimo). Eu nunca vi isso antes e não sei por onde começar em termos de tentar...
No momento, estou com alguns problemas ao analisar um conjunto de dados de tweet com máquinas de vetores de suporte. O problema é que tenho um conjunto de treinamento de classe binária desequilibrado (5: 2); que deve ser proporcional à distribuição de classe real. Ao prever, obtenho uma baixa...
Entendo que a f-measure (com base na precisão e recall) é uma estimativa da precisão de um classificador. Além disso, a f-measure é favorecida à precisão quando temos um conjunto de dados desequilibrado. Eu tenho uma pergunta simples (que é mais sobre o uso de terminologia correta do que sobre...
Eu rotulei dados compostos por 10000 exemplos positivos e 50000 exemplos negativos, fornecendo um total de 60000 exemplos. Obviamente esses dados estão desequilibrados. Agora, digamos que quero criar meu conjunto de validação e quero usar 10% dos meus dados para fazer isso. Minha pergunta é a...
Exemplos: Eu tenho uma frase na descrição do trabalho: "Java senior engineer in UK". Eu quero usar um modelo de aprendizado profundo para prever em duas categorias: English e IT jobs. Se eu usar o modelo de classificação tradicional, ele poderá prever apenas 1 rótulo com softmaxfunção na última...
Gostaria de executar uma combinação de superamostragem e subamostragem para equilibrar meu conjunto de dados com aproximadamente 4000 clientes divididos em dois grupos, onde um dos grupos tem uma proporção de aproximadamente 15%. Examinei o SMOTE (
No contexto do aprendizado de máquina, digamos que você tenha um problema no qual as classes da população real não são equilibradas - por exemplo, a Classe A ocorre 80% das vezes e a Classe B ocorre 20% das vezes. Nesse caso, é geralmente melhor ter um determinado algoritmo ML baseado em dados com...
Estou tentando criar um modelo de previsão com SVMs em dados bastante desequilibrados. Meus rótulos / saída têm três classes: positivo, neutro e negativo. Eu diria que o exemplo positivo representa cerca de 10 a 20% dos meus dados, neutro cerca de 50 a 60% e negativo cerca de 30 a 40%. Estou...
1) Como posso alterar o limite de classificação (acho que é 0,5 por padrão) no RandomForest no sklearn? 2) como posso sub-amostrar no sklearn? 3) Tenho o seguinte resultado do classificador RandomForest: [[1635 1297] [520 3624]] precision recall f1-score support class 0 0.76 0.56 0.64...