Média de precisão e recuperação ao usar validação cruzada

Realizei a classificação usando vários classificadores para dados rotulados de 2 classes e usei a validação cruzada 5 vezes. Para cada dobra calculei tp, tn, fp e fn. Então calculei a exatidão, precisão, recordação e pontuação F para cada teste. Minha pergunta é: quando quero calcular a média dos resultados, calculei a média das precisões, mas posso calcular a precisão, o recall e o F-score também? Ou isso seria matematicamente errado? PS Os conjuntos de dados usados em cada dobra são bem equilibrados em termos do número de instâncias por classe.

Obrigado.

classification cross-validation precision-recall Kalaji
fonte

Encontrei o mesmo problema em relação à computação da medida F (média harmônica de precisão e recuperação) usando a validação cruzada. Em este papel que, na verdade, demonstrou que o cálculo do F-medida no conjunto completo, e não a média, o método é menos tendencioso. Espero que isso pode ajudar

papafe

@markusian Por favor, adicione isto como resposta! É de longe a coisa mais importante nesta página!

drevicko 03/02

Respostas:

O score, supondo que você esteja usando a definição usual, já é uma combinação de precisão e recall. Especificamente, é o meio harmônico deles. Em outras palavras, destina-se a capturar a 'eficácia' de um sistema em que o sistema o usuário coloca pesos iguais na precisão e no recall. Existe uma extensão, chamada pontuação , que dá vezes mais peso para recuperar do que precisão. Em Por outro lado, se você está perguntando se consegue calcular a média de 5 $F$

F_{1} = 2 \cdot \frac{precision \cdot recall}{precision + recall}

$F_1 = 2\cdot\frac{\textrm{precision} \cdot \textrm{recall}}{\textrm{precision} + \textrm{recall}}$

F_{β}

$F_\beta$

β

$\beta$

F_{β} = (1 + β^{2}) \frac{precision \cdot recall}{(β^{2} \cdot precision) + recall}

$F_\beta = (1+\beta^2) \frac{\textrm{precision} \cdot \textrm{recall}}{(\beta^2 \cdot\textrm{precision}) + \textrm{recall}}$

F

$F$ (uma de cada dobra), a resposta é sim. De fato, essa é a maneira típica de relatar o desempenho de um sistema!

Esteja ciente de que existem alguns problemas ao usar esses valores para fazer inferências sobre o erro de generalização dos classificadores. Por exemplo, um teste entre as pontuações de um classificador e as pontuações de outro classificador será otimista demais. $t$ $F$ $F$

Matt Krause
fonte

Sim, eu usei a primeira fórmula. Isso significa que a média da pontuação F dos diferentes testes produz resultados semelhantes à média da precisão e recuperação e, em seguida, o cálculo da pontuação F a partir deles. Eu tentei isso com os resultados que tenho e foi quase o mesmo. Obrigado.

Kalaji 8/08