F-measure é sinônimo de precisão?

10

Entendo que a f-measure (com base na precisão e recall) é uma estimativa da precisão de um classificador. Além disso, a f-measure é favorecida à precisão quando temos um conjunto de dados desequilibrado. Eu tenho uma pergunta simples (que é mais sobre o uso de terminologia correta do que sobre tecnologia). Eu tenho um conjunto de dados desequilibrado e uso a medida f em meus experimentos. Estou prestes a escrever um artigo que NÃO é para uma conferência de aprendizado de máquina / mineração de dados. Por isso, posso me referir a f-measure como sinônimo de precisão neste contexto. Por exemplo, eu tenho uma medida f de 0,82, então posso dizer que meu classificador atinge 82% de previsões precisas?

Annamalai N
fonte
Seria melhor introduzir a medida f se você a usar. Substituir os dois não está correto no meu ponto de vista. No seu caso, se sua precisão for de 99%, você obterá previsões de 99% de precisão, independentemente da sua medida f, e isso pode levar os leitores a erro.
AdrienNK
@AdrienNK: A precisão de 99% não implica previsões corretas de 99%, a menos que as frequências relativas dos casos de teste sejam as mesmas da situação real do aplicativo.
cbeleites descontente com SX
@cbeleites você está certo, eu sei, mas muitas vezes os casos de teste são emitidos da mesma distribuição (bem, talvez seja essa a visão tendenciosa que tenho disso porque raramente tive que trabalhar com dados nos quais esse não era o caso)
AdrienNK
@AdrienNK: Sou químico analítico trabalhando para diagnósticos médicos. A prevalência da doença em questão pode variar de ordem de magnitude entre diferentes subpopulações de pacientes. Veja, por exemplo, a discussão dos diferentes PPVs na segunda metade deste artigo: nature.com/news/2011/110323/full/471428a.html
cbeleites descontentes com o SX
2
Foi uma leitura fascinante, obrigado por trazer isso à minha atenção.
AdrienNK

Respostas:

13

Primeiro de tudo, acho a "precisão" algumas vezes um pouco enganadora, pois se refere a coisas distintas:

O termo precisão na genealogia para avaliar sistemas ou métodos (eu sou químico analítico) refere-se ao viés das previsões, ou seja, responde à pergunta de quão boas são as previsões em média.

TP+TNall cases

O escore F é frequentemente introduzido como média harmônica de precisão e recordação (ou valor preditivo positivo e sensibilidade). Para sua pergunta, acho útil esclarecer um pouco mais e simplificá-lo:

F=2precEusEuonrecumaeueuprecEusEuon+recumaeueu=2TPumaeueu PTPumaeueuTTPumaeueu P+TPumaeueuT=2TP2umaeueu PumaeueuTTPumaeueu Tumaeueu PumaeueuT+TPumaeueu Pumaeueu PumaeueuT=2 TP2TPumaeueu T+TPumaeueu P=2 TPumaeueu T+umaeueu P

A última expressão não é uma fração de nada que eu possa pensar como um determinado grupo de casos de teste. Em particular, é esperada uma sobreposição (pesada) entre os casos VERDADEIRO e POSITIVO. Isso me impediria de expressar uma pontuação-F como porcentagem, pois isso implica uma proporção de casos. Na verdade, acho que advertiria o leitor de que o F-score não tem essa interpretação.

cbeleites descontentes com o SX
fonte
F1 1
0

Resposta rápida:

Não, a F-measurefórmula não consiste em TNfator e é útil para recuperar problemas (doc) .

Portanto, é ( F-measure) a abordagem correta para avaliar os conjuntos de dados desequilibrados ou no caso de problemas de recuperação em vez de accuracye ROC.

Accuracy = (TP+TN) / (TP+FP+FN+TN)

F1_Score = 2*(Recall * Precision) / (Recall + Precision)
# or
F1_Score = 2*TP / (2*TP + FP + FN)

[ NOTA ]:

Precision = TP / (TP+FP)

Recall = TP / (TP+FN)
Benyamin Jafari
fonte