O que é uma boa AUC para uma curva de precisão de recuperação?

11

Como tenho um conjunto de dados muito desequilibrado (resultados positivos de 9%), decidi que uma curva de precisão e recordação era mais apropriada do que uma curva ROC. Obtive a medida sumária análoga da área sob a curva PR (0,49, se você estiver interessado), mas não tenho certeza de como interpretá-la. Ouvi dizer que 0,8 ou acima é o que é uma boa AUC para o ROC, mas os pontos de corte gerais seriam os mesmos da AUC para uma curva de precisão de recuperação?

classification precision-recall auc user52568
fonte

Respostas:

12

Não há um corte mágico para AUC-ROC ou AUC-PR. Maior é obviamente melhor, mas depende totalmente da aplicação.

Por exemplo, se você pudesse identificar com êxito investimentos lucrativos com uma AUC de 0,8 ou, nesse caso, qualquer coisa distinta do acaso, eu ficaria muito impressionado e você seria muito rico. Por outro lado, a classificação de dígitos manuscritos com uma AUC de 0,95 ainda está substancialmente abaixo do estado da técnica atual.

Além disso, embora seja garantido o melhor AUC-ROC possível em [0,1], isso não é verdade para curvas de recuperação de precisão, pois pode haver áreas "inacessíveis" do espaço PR, dependendo de como as distribuições de classe são distorcidas. (Veja este artigo de Boyd et al (2012) para detalhes).

Matt Krause
fonte
Eu pensei que lá também partes inacessíveis da AUC. Mas pode estar errado.
charles
4
O artigo que vinculei diz "Uma distinção relacionada, mas não reconhecida anteriormente, entre os dois tipos de curvas é que, embora qualquer ponto no espaço ROC seja possível, nem todo ponto no espaço PR é possível". na parte superior da página 2. Acho que é porque você deve classificar todos os documentos da sua coleção para P / R, para que mesmo o sistema mais pessimista acabe recuperando um item relevante. No entanto, para o ROC, você poderia chamar todos os exemplos positivos "-" e todos os exemplos negativos "+", o que forneceria uma taxa de 100% de falso positivo / 100% de falso negativo.
Matt Krause
Obrigado! Eu deveria ter olhado o papel antes de comentar.
charles
Eu concordo que não há número mágico. No entanto, definitivamente vale a pena entender que um AUC-ROC de 0,95, por exemplo, significa que você basicamente resolveu o problema e tem um classificador muito, muito bom. Enquanto uma AUC de 0,6 para encontrar investimentos rentáveis ​​pode ser, estritamente falando, melhor que aleatória, mas não muito melhor. Dito isto, como você mencionou, ainda seria supostamente distinguível do acaso e pode muito bem produzir uma boa estratégia.
21818 shiri
0

.49 não é ótimo, mas sua interpretação é diferente da ROC AUC. Para ROC AUC, se você obteve 0,49 usando um modelo de regressão logística, eu diria que você não está se saindo melhor que aleatório. Para .49 PR AUC, no entanto, pode não ser tão ruim assim. Eu consideraria olhar para a precisão individual e recordar, talvez um ou outro é o que está dirigindo sua AUC de relações públicas. Lembre-se de dizer quanto dessa classe positiva de 9% você está realmente achando correta. A precisão lhe dirá quantos você achou positivos que não foram. (Falso-positivo). Lembre-se de 50% seria ruim, o que significa que você não está adivinhando muitos de sua classe desequilibrada, mas talvez 50% de precisão não seja ruim. Depende da sua situação.

David
fonte
0

Um estimador aleatório teria uma PR-AUC de 0,09 no seu caso (resultados positivos de 9%), portanto seu 0,49 é definitivamente um aumento substancial.

Se este for um bom resultado, só poderá ser avaliado em comparação com outros algoritmos, mas você não forneceu detalhes sobre o método / dados que usou.

Além disso, convém avaliar o formato da sua curva PR. Uma curva PR ideal vai do canto do topleft horizontalmente para o canto superior direito e diretamente para o canto inferior direito, resultando em uma PR-AUC de 1. Em algumas aplicações, a curva PR mostra um forte aumento no início para rapidamente deixe cair novamente próximo à "linha do estimador aleatório" (a linha horizontal com precisão de 0,09 no seu caso). Isso indicaria uma boa detecção de resultados positivos "fortes", mas um desempenho ruim nos candidatos menos claros.

Se você deseja encontrar um bom limite para o parâmetro de corte do seu algoritmo, considere o ponto na curva PR mais próximo do canto superior direito. Ou melhor ainda, considere a validação cruzada, se possível. Você pode obter valores de precisão e rechamada para um parâmetro de corte específico mais interessante para sua aplicação do que o valor do PR-AUC. As AUCs são mais interessantes ao comparar diferentes algoritmos.

Edgar
fonte