Me deparei com o coeficiente Dice para similaridade de volume ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) e precisão ( https://en.wikipedia.org/wiki/Accuracy_and_precision ) Parece-me que essas duas medidas são iguais. Alguma
É possível fazer um teste de significância baseado apenas nas pontuações de precisão / recall / F1? Por exemplo, se você se deparar com 2 sistemas em um documento para os quais apenas P / R / F1 são relatados (no mesmo conjunto de dados, etc.), é possível executar um teste de significância...
Qual é a melhor maneira de explicar por que o Precision+RecallPrecision+Recall\text{Precision} + \text{Recall} não é uma boa medida, digamos, em comparação com a
Pergunto-me o que é um valor intrínseco do uso da média harmônica (por exemplo, para calcular medidas F), em oposição à média aritmética ponderada na combinação de precisão e recall? Estou pensando que a média aritmética ponderada poderia desempenhar o papel de média harmônica, ou estou perdendo...
Estou tentando resolver uma tarefa chamada detecção de pedestres e treino clasifer binário em duas categorias positivas - pessoas, negativos - antecedentes. Eu tenho um conjunto de dados: número de positivos = 3752 número de negativo = 3800 Eu uso train \ test split 80 \ 20% e...
Eu quero comparar dois algoritmos de classificação. Nesses algoritmos, o cliente especifica algumas condições em sua pesquisa. De acordo com os requisitos do cliente, esse algoritmo deve atribuir uma pontuação para cada item da base de dados e recuperar itens com a pontuação mais alta. Eu li...
Tenho uma atribuição de mineração de dados em que faço um sistema de recuperação de imagens com base em conteúdo. Eu tenho 20 imagens de 5 animais. Assim, no total, 100 imagens. Meu sistema retorna as 10 imagens mais relevantes para uma imagem de entrada. Agora, preciso avaliar o desempenho do meu...
Predicted class Cat Dog Rabbit Actual class Cat 5 3 0 Dog 2 3 1 Rabbit 0 2 11 Como posso calcular a precisão e recuperar, para que fique fácil calcular a pontuação F1. A matriz de confusão normal é uma dimensão 2 x 2. No entanto, quando se torna 3 x 3, não sei como calcular precisão e...
Estou trabalhando em um problema de classificação binária em que é muito mais importante não ter falsos positivos; muitos falsos negativos estão ok. Eu usei vários classificadores no sklearn, por exemplo, mas acho que nenhum deles tem a capacidade de ajustar explicitamente o tradeoff de recall de...
Como tenho um conjunto de dados muito desequilibrado (resultados positivos de 9%), decidi que uma curva de precisão e recordação era mais apropriada do que uma curva ROC. Obtive a medida sumária análoga da área sob a curva PR (0,49, se você estiver interessado), mas não tenho certeza de como...
Estou trabalhando com dados desequilibrados, onde existem cerca de 40 casos de classe = 0 para cada classe = 1. Eu posso discriminar razoavelmente entre as classes usando recursos individuais, e treinar um classificador ingênuo de Bayes e SVM em 6 recursos e dados balanceados gerou uma melhor...
Realizei a classificação usando vários classificadores para dados rotulados de 2 classes e usei a validação cruzada 5 vezes. Para cada dobra calculei tp, tn, fp e fn. Então calculei a exatidão, precisão, recordação e pontuação F para cada teste. Minha pergunta é: quando quero calcular a média dos...
Existe algum método padrão para determinar um ponto de operação "ideal" em uma curva de recuperação de precisão ? (ou seja, determinar o ponto na curva que oferece uma boa relação entre precisão e
Atualmente, estou comparando três métodos e tenho a Precisão, auROC e auPR como métricas. E eu tenho os seguintes resultados: Método A - acc: 0,75, auROC: 0,75, auPR: 0,45 Método B - acc: 0,65, auROC: 0,55, auPR: 0,40 Método C - acc: 0,55, auROC: 0,70, auPR: 0,65 Eu tenho um bom entendimento...
No momento, estou com alguns problemas ao analisar um conjunto de dados de tweet com máquinas de vetores de suporte. O problema é que tenho um conjunto de treinamento de classe binária desequilibrado (5: 2); que deve ser proporcional à distribuição de classe real. Ao prever, obtenho uma baixa...
Esta pergunta já tem uma resposta aqui : Como limiar a previsão de probabilidade multiclasse para obter matriz de confusão? (1 resposta) Fechado há 3 meses . O exemplo acima é um exemplo muito simples de ter uma saída do classificador de probabilidade para um...
Esta é a pontuação F beta: Fβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallFβ=(1 1+β2)⋅precEusEuon⋅recumaeueu(β2⋅precEusEuon)+recumaeueuF_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}} O artigo da Wikipedia afirma...
Por que a lembrança não leva em consideração os verdadeiros negativos? Em experimentos em que os verdadeiros negativos são tão importantes quanto os verdadeiros positivos, é uma métrica comparável que leva isso em
1) Como posso alterar o limite de classificação (acho que é 0,5 por padrão) no RandomForest no sklearn? 2) como posso sub-amostrar no sklearn? 3) Tenho o seguinte resultado do classificador RandomForest: [[1635 1297] [520 3624]] precision recall f1-score support class 0 0.76 0.56 0.64...
Suponha que eu criei um sistema de recomendação que (dado o ranking de filmes ou qualquer outro usuário) produzirá uma lista de 10 filmes recomendados para cada usuário assistir. Imagine que eu também tenho um grande conjunto de itens de filme, juntamente com um registro de classificações de...