P&R são uma maneira de medir a relevância do conjunto de instâncias recuperadas. Precisão é a% de instâncias corretas de todas as instâncias recuperadas. Relevância é a% de instâncias verdadeiras recuperadas. A média harmônica de P&R é o escore F1. P&R são usados na mineração de dados para avaliar os classificadores.
Eu entendo as diferenças formais entre eles, o que eu quero saber é quando é mais relevante usar um vs. o outro. Eles sempre fornecem informações complementares sobre o desempenho de um determinado sistema de classificação / detecção? Quando é razoável fornecer os dois, digamos, em um artigo?...
Gostaria de saber como calcular precisão e recordar usando uma matriz de confusão para um problema de classificação de várias classes. Especificamente, uma observação só pode ser atribuída à sua classe / rótulo mais provável. Eu gostaria de calcular: Precisão = TP / (TP + FP) Rechamada = TP /...
Eu estou querendo saber como calcular medidas de precisão e recall para classificação de várias etiquetas multiclass, ou seja, classificação onde há mais de dois rótulos e onde cada instância pode ter vários
Eu gostaria de saber como interpretar uma diferença dos valores da medida f. Sei que f-measure é uma média equilibrada entre precisão e recordação, mas estou perguntando sobre o significado prático de uma diferença nas medidas f. Por exemplo, se um classificador C1 tem uma precisão de 0,4 e outro...
Eu tenho uma tarefa de classificação na qual tenho vários preditores (um dos quais é o mais informativo) e estou usando o modelo MARS para construir meu classificador (estou interessado em qualquer modelo simples e usar glms para fins ilustrativos seria bem também). Agora, tenho um enorme...
Eu tenho abaixo um exemplo que tirei da documentação sklearn.metrics.classification_report do sklearn. O que não entendo é por que existem valores de pontuação f1, precisão e recordação para cada classe em que acredito que classe é o rótulo do preditor? Eu pensei que a pontuação f1 informa a...
A precisão média (AP) é a área sob a curva de precisão de recuperação (AUC da curva PR)? EDITAR: Aqui estão alguns comentários sobre a diferença entre PR AUC e AP. A AUC é obtida por interpolação trapezoidal da precisão. Uma métrica alternativa e geralmente quase equivalente é a Precisão Média...
Eu estava confuso sobre as diferenças entre a pontuação da F1, a pontuação dos dados e a IoU (cruzamento sobre a união). Até agora eu descobri que F1 e Dice significam a mesma coisa (certo?) E IoU tem uma fórmula muito semelhante às outras duas. F1 / Dados:2 TP2 TP+ FP+...
Eu lido com um problema de detecção de fraude (como pontuação de crédito). Como tal, existe uma relação altamente desequilibrada entre observações fraudulentas e não fraudulentas. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html fornece uma excelente visão geral das...
Precisão é definida como: p = true positives / (true positives + false positives) É verdade que, como true positivese false positivesabordagem 0, a precisão se aproxima de 1? Mesma pergunta para recall: r = true positives / (true positives + false negatives) No momento, estou implementando...
Acabei de ler esta discussão. Eles argumentam que a AUC do PR é melhor que a AUC do ROC no conjunto de dados desequilibrados. Por exemplo, temos 10 amostras no conjunto de dados de teste. 9 amostras são positivas e 1 é negativa. Temos um modelo terrível que prevê tudo de positivo. Assim, teremos...
Tenho algumas dúvidas sobre qual medida de desempenho usar, área sob a curva ROC (TPR como uma função da FPR) ou área sob a curva de precisão de recall (precisão como uma função de recall). Meus dados estão desequilibrados, ou seja, o número de instâncias negativas é muito maior que as instâncias...
Eu tenho um conjunto de dados com alguns milhões de linhas e ~ 100 colunas. Gostaria de detectar cerca de 1% dos exemplos no conjunto de dados, que pertencem a uma classe comum. Eu tenho uma restrição de precisão mínima, mas devido ao custo muito assimétrico, não estou muito interessado em nenhum...
Estou tentando entender a curva de recall de precisão, entendo o que são precisão e recall, mas o que não entendo é o valor da "linha de base". Eu estava lendo este link https://classeval.wordpress.com/introduction/introduction-to-the-precision-recall-plot/ e eu não entendo a parte da linha de...
Alguém pode resumir para mim com exemplos possíveis, em que situações o aumento dos dados de treinamento melhora o sistema geral? Quando detectamos que a adição de mais dados de treinamento poderia sobrepor-se aos dados e não fornecer boas precisões nos dados de teste? Essa é uma pergunta muito...
Estou experimentando o algoritmo da máquina de aumento de gradiente através do caretpacote em R. Usando um pequeno conjunto de dados de admissões de faculdade, executei o seguinte código: library(caret) ### Load admissions dataset. ### mydata <-
Eu sou novo no Machine Learning. No momento, estou usando um classificador Naive Bayes (NB) para classificar textos pequenos em 3 classes como positivos, negativos ou neutros, usando NLTK e python. Depois de realizar alguns testes, com um conjunto de dados composto de 300.000 instâncias (16.924...
Precisão é definida como: p = verdadeiros positivos / (verdadeiros positivos + falsos positivos) Qual é o valor da precisão se (verdadeiros positivos + falsos positivos) = 0? É apenas indefinido? Mesma pergunta para recall: r = positivos verdadeiros / (verdadeiros positivos + falsos...
A pontuação F1 é a média harmônica de precisão e recuperação. O eixo y da recuperação é uma taxa positiva verdadeira (que também é recuperação). Assim, em algum momento os classificadores podem ter um recall baixo, mas uma AUC muito alta, o que isso significa? Quais são as diferenças entre a AUC e...
Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 7 meses . É fácil encontrar uma área de cálculo de...