Média de precisão e recuperação ao usar validação cruzada

11

Realizei a classificação usando vários classificadores para dados rotulados de 2 classes e usei a validação cruzada 5 vezes. Para cada dobra calculei tp, tn, fp e fn. Então calculei a exatidão, precisão, recordação e pontuação F para cada teste. Minha pergunta é: quando quero calcular a média dos resultados, calculei a média das precisões, mas posso calcular a precisão, o recall e o F-score também? Ou isso seria matematicamente errado? PS Os conjuntos de dados usados ​​em cada dobra são bem equilibrados em termos do número de instâncias por classe.

Obrigado.

Kalaji
fonte
3
Encontrei o mesmo problema em relação à computação da medida F (média harmônica de precisão e recuperação) usando a validação cruzada. Em este papel que, na verdade, demonstrou que o cálculo do F-medida no conjunto completo, e não a média, o método é menos tendencioso. Espero que isso pode ajudar
papafe
3
@markusian Por favor, adicione isto como resposta! É de longe a coisa mais importante nesta página!
drevicko 03/02

Respostas:

2

O score, supondo que você esteja usando a definição usual, já é uma combinação de precisão e recall. Especificamente, é o meio harmônico deles. Em outras palavras, destina-se a capturar a 'eficácia' de um sistema em que o sistema o usuário coloca pesos iguais na precisão e no recall. Existe uma extensão, chamada pontuação , que dá vezes mais peso para recuperar do que precisão. Em Por outro lado, se você está perguntando se consegue calcular a média de 5F

F1=2precisionrecallprecision+recall
Fββ
Fβ=(1+β2)precisionrecall(β2precision)+recall
F(uma de cada dobra), a resposta é sim. De fato, essa é a maneira típica de relatar o desempenho de um sistema!

Esteja ciente de que existem alguns problemas ao usar esses valores para fazer inferências sobre o erro de generalização dos classificadores. Por exemplo, um teste entre as pontuações de um classificador e as pontuações de outro classificador será otimista demais.tFF

Matt Krause
fonte
Sim, eu usei a primeira fórmula. Isso significa que a média da pontuação F dos diferentes testes produz resultados semelhantes à média da precisão e recuperação e, em seguida, o cálculo da pontuação F a partir deles. Eu tentei isso com os resultados que tenho e foi quase o mesmo. Obrigado.
Kalaji 8/08