Curva ROC cruzando a diagonal

Estou executando um classificador binário no momento. Quando planto a curva ROC, recebo uma boa sustentação no início, depois ela muda de direção e cruza a diagonal e, é claro, de volta, tornando a curva em forma de S inclinada.

O que pode ser uma interpretação / explicação para esse efeito?

obrigado

Você obtém um bom gráfico ROC simétrico apenas quando os desvios padrão para ambos os resultados são os mesmos. Se forem bastante diferentes, você poderá obter exatamente o resultado que descreve.

O seguinte código do Mathematica demonstra isso. Assumimos que um alvo produz uma distribuição normal no espaço de resposta e que o ruído também produz uma distribuição normal, mas deslocada. Os parâmetros ROC são determinados pela área abaixo das curvas gaussianas à esquerda ou direita de um critério de decisão. Variando esse critério, descreve a curva ROC.

Manipulate[
 ParametricPlot[{CDF[NormalDistribution[4, \[Sigma]], c], 
                 CDF[NormalDistribution[0, 3], c]
                }, {c, -10, 10}, 
                Frame -> True, 
                Axes -> None, PlotRange -> {{0, 1}, {0, 1}}, 
                Epilog -> Line[{{0, 0}, {1, 1}}]], 
 {{\[Sigma], 3}, 0.1, 10, Appearance -> "Labeled"}]

Isso ocorre com desvios padrão iguais:

Isto é com os mais distintos:

ou com mais alguns parâmetros para jogar:

Manipulate[
 ParametricPlot[{CDF[NormalDistribution[\[Mu]1, \[Sigma]1], c], 
   CDF[NormalDistribution[\[Mu]2, \[Sigma]2], c]}, {c, -100, 100}, 
  Frame -> True, Axes -> None, PlotRange -> {{0, 1}, {0, 1}}, 
  Epilog -> Line[{{0, 0}, {1, 1}}]], {{\[Mu]1, 0}, 0, 10, 
  Appearance -> "Labeled"},
 {{\[Sigma]1, 4}, 0.1, 20, Appearance -> "Labeled"},
 {{\[Mu]2, 5}, 0, 10, Appearance -> "Labeled"},
 {{\[Sigma]2, 4}, 0.1, 20, Appearance -> "Labeled"}]

Ter uma sequência de instâncias negativas na parte da curva com alta FPR pode criar esse tipo de curva. Tudo bem, desde que você esteja usando o algoritmo correto para gerar a curva ROC.

A condição em que você tem um conjunto de 2m pontos, metade dos quais são positivos e metade são negativos - todos com exatamente a mesma pontuação para o seu modelo é complicado. Se ao classificar os pontos com base na pontuação (procedimento padrão na plotagem do ROC), todos os exemplos negativos são encontrados primeiro, isso fará com que a sua curva ROC permaneça plana e mova-se para a direita. :

Fawcett Traçando curvas ROC

(As respostas de @Sjoerd C. de Vries e @Hrishekesh Ganu estão corretas. Pensei que, no entanto, poderia apresentar as idéias de outra maneira, o que pode ajudar algumas pessoas.)

Você pode obter um ROC como esse se o seu modelo for especificado incorretamente. Considere o exemplo abaixo (codificado R), que é adaptado da minha resposta aqui: Como usar boxplots para encontrar o ponto em que os valores têm maior probabilidade de vir de diferentes condições?

## data
Cond.1 = c(2.9, 3.0, 3.1, 3.1, 3.1, 3.3, 3.3, 3.4, 3.4, 3.4, 3.5, 3.5, 3.6, 3.7, 3.7,
           3.8, 3.8, 3.8, 3.8, 3.9, 4.0, 4.0, 4.1, 4.1, 4.2, 4.4, 4.5, 4.5, 4.5, 4.6,
           4.6, 4.6, 4.7, 4.8, 4.9, 4.9, 5.5, 5.5, 5.7)
Cond.2 = c(2.3, 2.4, 2.6, 3.1, 3.7, 3.7, 3.8, 4.0, 4.2, 4.8, 4.9, 5.5, 5.5, 5.5, 5.7,
           5.8, 5.9, 5.9, 6.0, 6.0, 6.1, 6.1, 6.3, 6.5, 6.7, 6.8, 6.9, 7.1, 7.1, 7.1,
           7.2, 7.2, 7.4, 7.5, 7.6, 7.6, 10, 10.1, 12.5)
dat    = stack(list(cond1=Cond.1, cond2=Cond.2))
ord    = order(dat$values)
dat    = dat[ord,]  # now the data are sorted

## logistic regression models
lr.model1 = glm(ind~values,             dat, family="binomial")  # w/o a squared term
lr.model2 = glm(ind~values+I(values^2), dat, family="binomial")  # w/  a squared term
lr.preds1 = predict(lr.model1, data.frame(values=seq(2.3,12.5,by=.1)), type="response")
lr.preds2 = predict(lr.model2, data.frame(values=seq(2.3,12.5,by=.1)), type="response")

## here I plot the data & the 2 models
windows()
  with(dat, plot(values, ifelse(ind=="cond2",1,0), 
                 ylab="predicted probability of condition2"))
  lines(seq(2.3,12.5,by=.1), lr.preds1, lwd=2, col="red")
  lines(seq(2.3,12.5,by=.1), lr.preds2, lwd=2, col="blue")
  legend("bottomright", legend=c("model 1", "model 2"), lwd=2, col=c("red", "blue"))

É fácil ver que o modelo vermelho está sem a estrutura dos dados. Podemos ver como são as curvas ROC quando plotadas abaixo:

library(ROCR)  # we'll use this package to make the ROC curve

## these are necessary to make the ROC curves
pred1 = with(dat, prediction(fitted(lr.model1), ind))
pred2 = with(dat, prediction(fitted(lr.model2), ind))
perf1 = performance(pred1, "tpr", "fpr")
perf2 = performance(pred2, "tpr", "fpr")

## here I plot the ROC curves
windows()
  plot(perf1, col="red",  lwd=2)
  plot(perf2, col="blue", lwd=2, add=T)
  abline(0,1, col="gray")
  legend("bottomright", legend=c("model 1", "model 2"), lwd=2, col=c("red", "blue"))

Agora podemos ver que, para o modelo mal especificado (vermelho), quando a taxa de falso positivo se torna maior que $80\%$, a taxa de falso positivo aumenta mais rapidamente que a taxa de verdadeiro positivo. Observando os modelos acima, vemos que esse ponto é onde as linhas vermelha e azul se cruzam na parte inferior esquerda.