otimizando auc vs logloss em problemas de classificação binária

Estou executando uma tarefa de classificação binária em que a probabilidade de resultado é baixa (cerca de 3%). Estou tentando decidir se deve otimizar por AUC ou perda de log. Tanto quanto eu entendi, a AUC maximiza a capacidade do modelo de discriminar entre classes, enquanto o logloss penaliza a divergência entre probabilidades reais e estimadas. Na minha tarefa é extremamente importante calibrar a precisão da precisão. Então, eu escolheria o logloss, mas gostaria de saber se o melhor modelo de perda de log também deveria ser o melhor modelo de AUC / GINI.

classification binary-data auc log-loss Giorgio Spedicato
fonte

Respostas:

Como você mencionou, a AUC é uma estatística de classificação (ou seja, invariável na escala) e a perda de log é uma estatística de calibração. Pode-se construir trivialmente um modelo que tenha a mesma AUC, mas falhe em minimizar a perda de log em algum outro modelo escalando os valores previstos. Considerar:

auc <-  function(prediction, actual) {
  mann_whit <- wilcox.test(prediction~actual)$statistic
  1 - mann_whit / (sum(actual)*as.double(sum(!actual)))
}

log_loss <- function (prediction, actual) {
  -1/length(prediction) * sum(actual * log(prediction) + (1-actual) * log(1-prediction))
}

sampled_data <- function(effect_size, positive_prior = .03, n_obs = 5e3) {
  y <- rbinom(n_obs, size = 1, prob = positive_prior)
  data.frame( y = y,
              x1 =rnorm(n_obs, mean = ifelse(y==1, effect_size, 0)))
}

train_data <- sampled_data(4)
m1 <- glm(y~x1, data = train_data, family = 'binomial')
m2 <- m1
m2$coefficients[2] <- 2 * m2$coefficients[2]

m1_predictions <- predict(m1, newdata = train_data, type= 'response')
m2_predictions <- predict(m2, newdata = train_data, type= 'response')

auc(m1_predictions, train_data$y)
#0.9925867 
auc(m2_predictions, train_data$y)
#0.9925867 

log_loss(m1_predictions, train_data$y)
#0.01985058
log_loss(m2_predictions, train_data$y)
#0.2355433

Portanto, não podemos dizer que um modelo que maximize a AUC significa perda de log minimizada. Se um modelo que minimiza a perda de log corresponde à AUC maximizada dependerá muito do contexto; separabilidade de classe, viés de modelo, etc. Na prática, pode-se considerar um relacionamento fraco, mas em geral eles são simplesmente objetivos diferentes. Considere o exemplo a seguir, que aumenta a separabilidade da classe (tamanho do efeito do nosso preditor):

for (effect_size in 1:7) {
  results <- dplyr::bind_rows(lapply(1:100, function(trial) {
                                    train_data <- sampled_data(effect_size)
                                    m <- glm(y~x1, data = train_data, family = 'binomial')
                                    predictions <- predict(m, type = 'response')
                                    list(auc = auc(predictions, train_data$y),
                                         log_loss = log_loss(predictions, train_data$y),
                                         effect_size = effect_size)
                                  }))
  plot(results$auc, results$log_loss, main = paste("Effect size =", effect_size))
  readline()
}

khol
fonte

Resposta muito informativa. Em sua resposta, há duas previsões, com a mesma AUC, mas com perdas de log muito diferentes. Então, chego a esta pergunta: treinei um modelo para otimizar a AUC. Mais tarde, porém, percebi que precisava perder dados de log. Não posso me dar ao luxo de treinar novamente o modelo para perda de log (que deve ser o caso ideal). Posso aplicar qualquer transformação nas previsões, para que ela tenha a melhor perda de log. (A perda de log considerada aqui é um significado binário, a probabilidade de referência é 1 ou 0).

Rajesh Dachiraju

O que o seu modelo estima? A perda de logs só faz sentido se você estiver produzindo probabilidades posteriores, o que é improvável para um modelo otimizado da AUC. Estatísticas de classificação como a AUC consideram apenas a ordenação relativa das previsões; portanto, a magnitude das lacunas entre as previsões é irrelevante; claramente esse não é o caso de probabilidades. Qualquer escala realizada nas previsões otimizadas da AUC terá que resolver esse problema. Além disso, isso aborda apenas a calibração de suas previsões em direção a uma estimativa posterior razoável, não à minimização global de LL, conforme descrito neste post.

khol

Você pode estar interessado em escala de platt como ponto de partida.

khol

Eu entendo que não é global. Eu só quero configurar uma transformação que possa ter um parâmetro e depois brincar com ele.

Rajesh Dachiraju

Para rótulos desequilibrados, a área sob a curva de precisão de recuperação é preferível à AUC ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4349800/ ou documentos do python scikit-learn )

Além disso, se seu objetivo é maximizar a precisão, considere fazer a validação cruzada para selecionar o melhor modelo (algoritmo + hiperparâmetros) usando "precision" como métrica de desempenho.

Paulo
fonte

Eu votei por algumas razões aqui. 1) Você deve citar uma fonte ou um motivo para sua primeira declaração. 2) Como exatamente você otimiza a precisão? Isso não criaria um modelo degenerado?

Matthew Drury

ok obrigado por me ajudar a dar uma resposta melhor. Eu adicionei 2 referências. e como você otimiza a precisão? como qualquer outra métrica. Você apenas especifica "precisão" como sua função de pontuação, por exemplo, no scikit-learn. Precisão é uma métrica como precisão, AUC, etc #

Paul

Ahh, claro. Mas acho que quando as pessoas lêem "otimizar", elas assumem que é durante o treinamento do seu modelo. Acho que o sklearn entende isso muito errado, pois ele usa um limite de classificação fixo, e você realmente deve estar ajustando isso com a validação cruzada.

Matthew Drury

Sim, agora vejo como "otimizar" pode ser confuso. Não sei como OP significava isso. Para mim, é como você diz: ajuste os hiperparâmetros via CV para que a precisão seja maximizada. E acho que é assim que você o aplica no sklearn também.

Paul

Claro, acho que sua resposta seria melhorada aqui se você adicionasse esse esclarecimento. Um tópico um pouco desconcertante, mas acho que o sklearn é muito fraco em apoiar isso, pois ele é sintonizado com base em um limite de classificação fixo, o que eu argumentaria ser uma prática muito ruim.

Matthew Drury