F-measure é sinônimo de precisão?

Entendo que a f-measure (com base na precisão e recall) é uma estimativa da precisão de um classificador. Além disso, a f-measure é favorecida à precisão quando temos um conjunto de dados desequilibrado. Eu tenho uma pergunta simples (que é mais sobre o uso de terminologia correta do que sobre tecnologia). Eu tenho um conjunto de dados desequilibrado e uso a medida f em meus experimentos. Estou prestes a escrever um artigo que NÃO é para uma conferência de aprendizado de máquina / mineração de dados. Por isso, posso me referir a f-measure como sinônimo de precisão neste contexto. Por exemplo, eu tenho uma medida f de 0,82, então posso dizer que meu classificador atinge 82% de previsões precisas?

machine-learning classification data-mining unbalanced-classes accuracy Annamalai N
fonte

Seria melhor introduzir a medida f se você a usar. Substituir os dois não está correto no meu ponto de vista. No seu caso, se sua precisão for de 99%, você obterá previsões de 99% de precisão, independentemente da sua medida f, e isso pode levar os leitores a erro.

AdrienNK

@AdrienNK: A precisão de 99% não implica previsões corretas de 99%, a menos que as frequências relativas dos casos de teste sejam as mesmas da situação real do aplicativo.

cbeleites descontente com SX

@cbeleites você está certo, eu sei, mas muitas vezes os casos de teste são emitidos da mesma distribuição (bem, talvez seja essa a visão tendenciosa que tenho disso porque raramente tive que trabalhar com dados nos quais esse não era o caso)

AdrienNK

@AdrienNK: Sou químico analítico trabalhando para diagnósticos médicos. A prevalência da doença em questão pode variar de ordem de magnitude entre diferentes subpopulações de pacientes. Veja, por exemplo, a discussão dos diferentes PPVs na segunda metade deste artigo: nature.com/news/2011/110323/full/471428a.html

cbeleites descontentes com o SX

Foi uma leitura fascinante, obrigado por trazer isso à minha atenção.

AdrienNK

Respostas:

Primeiro de tudo, acho a "precisão" algumas vezes um pouco enganadora, pois se refere a coisas distintas:

O termo precisão na genealogia para avaliar sistemas ou métodos (eu sou químico analítico) refere-se ao viés das previsões, ou seja, responde à pergunta de quão boas são as previsões em média.

$\frac{TP+TN}{all~cases}$

O escore F é frequentemente introduzido como média harmônica de precisão e recordação (ou valor preditivo positivo e sensibilidade). Para sua pergunta, acho útil esclarecer um pouco mais e simplificá-lo:

$F = \frac{2 \cdot precision \cdot recall}{precision + recall} = \frac{2 \frac{TP}{all~P} \frac{TP}{all T}}{\frac{TP}{all~P} + \frac{TP}{all T}} = \frac{2 \frac{TP^2}{all~P \cdot all T}}{\frac{TP \cdot all~T}{all~P \cdot all T} + \frac{TP \cdot all~P}{all~P \cdot all T}} = \frac{2~TP^2}{TP \cdot all~T + TP \cdot all~P} = \frac{2~TP}{all~T + all~P}$

A última expressão não é uma fração de nada que eu possa pensar como um determinado grupo de casos de teste. Em particular, é esperada uma sobreposição (pesada) entre os casos VERDADEIRO e POSITIVO. Isso me impediria de expressar uma pontuação-F como porcentagem, pois isso implica uma proporção de casos. Na verdade, acho que advertiria o leitor de que o F-score não tem essa interpretação.

cbeleites descontentes com o SX
fonte

F_{1}

$F_1$

Resposta rápida:

Não, a F-measurefórmula não consiste em TNfator e é útil para recuperar problemas ^(doc) .

Portanto, é ( F-measure) a abordagem correta para avaliar os conjuntos de dados desequilibrados ou no caso de problemas de recuperação em vez de accuracye ROC.

Accuracy = (TP+TN) / (TP+FP+FN+TN)

F1_Score = 2*(Recall * Precision) / (Recall + Precision)
# or
F1_Score = 2*TP / (2*TP + FP + FN)

[ NOTA ]:

Precision = TP / (TP+FP)

Recall = TP / (TP+FN)

Benyamin Jafari
fonte