Os dados organizados em categorias discretas ou * classes * podem apresentar problemas para certas análises se o número de observações ( ) pertencentes a cada classe não for constante entre as classes. Classes com desigual são * desequilibradas *. n n n n
Ok, acho que tenho uma amostra decente o suficiente, levando em consideração a regra geral 20: 1: uma amostra bastante grande (N = 374) para um total de 7 variáveis preditoras de candidatos. Meu problema é o seguinte: qualquer que seja o conjunto de variáveis preditoras que eu use, as...
Já tínhamos várias perguntas sobre dados desequilibrados ao usar regressão logística , SVM , árvores de decisão , empacotamento e várias outras perguntas semelhantes, o que o torna um tópico muito popular! Infelizmente, cada uma das perguntas parece ser específica do algoritmo e não encontrei...
Eu tenho um conjunto de dados na forma de (recursos, saída binária 0 ou 1), mas 1 acontece muito raramente, portanto, sempre prevendo 0, obtenho precisão entre 70% e 90% (dependendo dos dados específicos que vejo) ) Os métodos de ML me dão a mesma precisão e, acredito, deve haver alguns métodos...
Essa é uma pergunta em geral, não específica para nenhum método ou conjunto de dados. Como lidamos com um problema de desequilíbrio de classe no aprendizado de máquina supervisionado, em que o número de 0 é de cerca de 90% e o número de 1 é de cerca de 10% em seu conjunto de dados. Uma das...
Eu sou novo na mineração de dados e estou tentando treinar uma árvore de decisão contra um conjunto de dados altamente desequilibrado. No entanto, estou tendo problemas com baixa precisão preditiva. Os dados consistem em estudantes que estudam nos cursos, e a variável da turma é o status do curso...
Se eu tiver um conjunto de dados com uma classe positiva muito rara e fizer uma amostragem negativa da classe negativa e executar uma regressão logística, preciso ajustar os coeficientes de regressão para refletir o fato de que alterei a prevalência da classe positiva? Por exemplo, digamos que eu...
Ultimamente, tenho pensado muito sobre o "problema de desequilíbrio de classe" no aprendizado de máquina / estatística, e estou me aprofundando cada vez mais em um sentimento de que simplesmente não entendo o que está acontecendo. Primeiro, deixe-me definir (ou tentar) definir meus termos: O...
Eu tenho uma tarefa de classificação na qual tenho vários preditores (um dos quais é o mais informativo) e estou usando o modelo MARS para construir meu classificador (estou interessado em qualquer modelo simples e usar glms para fins ilustrativos seria bem também). Agora, tenho um enorme...
Eu tive um curso on-line, onde aprendi, que as classes desequilibradas nos dados de treinamento podem levar a problemas, porque os algoritmos de classificação seguem a regra da maioria, pois produz bons resultados se o desequilíbrio for excessivo. Em uma tarefa, era necessário equilibrar os dados...
Eu tenho um conjunto de dados muito desequilibrado. Estou tentando seguir o conselho de ajuste e o uso, scale_pos_weightmas não tenho certeza de como devo ajustá-lo. Eu posso ver que RegLossObj.GetGradientsim: if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight portanto, um gradiente de...
Quero criar um modelo logístico a partir dos dados da minha pesquisa. É uma pequena pesquisa de quatro colônias residenciais nas quais apenas 154 entrevistados foram entrevistados. Minha variável dependente é "transição satisfatória para o trabalho". Eu descobri que, dos 154 entrevistados, 73...
Em uma pergunta recente e bem recebida, Tim pergunta quando os dados desequilibrados são realmente um problema no Machine Learning ? A premissa da pergunta é que há muita literatura de aprendizado de máquina discutindo o equilíbrio de classes e o problema das classes desequilibradas . A idéia é que...
Penso que uma suposição básica de aprendizado de máquina ou estimativa de parâmetros é que os dados invisíveis vêm da mesma distribuição que o conjunto de treinamento. No entanto, em alguns casos práticos, a distribuição do conjunto de testes será quase diferente do conjunto de...
Houve boas perguntas sobre como lidar com dados desequilibrados no contexto da classificação , mas estou me perguntando o que as pessoas fazem para amostrar para regressão. Digamos que o domínio do problema seja muito sensível ao sinal, mas apenas um pouco sensível à magnitude do alvo. No entanto,...
Eu lido com um problema de detecção de fraude (como pontuação de crédito). Como tal, existe uma relação altamente desequilibrada entre observações fraudulentas e não fraudulentas. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html fornece uma excelente visão geral das...
Quero modelar uma regressão logística com dados desequilibrados (9: 1). Eu queria tentar a opção de pesos na glmfunção em R, mas não tenho 100% de certeza do que faz. Digamos que minha variável de saída seja c(0,0,0,0,0,0,0,0,0,1). agora eu quero dar o "1" 10 vezes mais peso. então eu dou o...
Estou correto ao entender que a ordem na qual as variáveis são especificadas em uma ANOVA multifatorial faz diferença, mas que a ordem não importa ao fazer uma regressão linear múltipla? Então, assumindo um resultado como perda de sangue medida y e duas variáveis categóricas método de...
Estou trabalhando em dados gravemente desequilibrados. Na literatura, vários métodos são utilizados para reequilibrar os dados usando re-amostragem (super ou sub-amostragem). Duas boas abordagens são: SMOTE: Técnica de sobre-amostragem de minorias sintéticas ( SMOTE ) ADASYN: Abordagem de Amostra...
Acabei de ler esta discussão. Eles argumentam que a AUC do PR é melhor que a AUC do ROC no conjunto de dados desequilibrados. Por exemplo, temos 10 amostras no conjunto de dados de teste. 9 amostras são positivas e 1 é negativa. Temos um modelo terrível que prevê tudo de positivo. Assim, teremos...
Estou lidando com um problema de classificação binária supervisionada. Eu gostaria de usar o pacote GBM para classificar os indivíduos como não infectados / infectados. Eu tenho 15 vezes mais não infectado do que indivíduos infectados. Eu queria saber se os modelos GBM sofrem no caso de tamanhos...