Interpretação da curva de calibração

Eu tenho um modelo de regressão logística binária derivada passo a passo. Eu usei a calibrate(, bw=200, bw=TRUE)função no rmspacote em R para estimar sua calibração futura. A saída é fornecida abaixo e mostra a estimativa da curva de calibração corrigida por overfitting de autoinicialização para o modelo de logística step-down reversa. No entanto, não tenho certeza de como interpretá-lo.

Entendo que a calibração se refere a se as probabilidades previstas futuras concordam com as probabilidades observadas. Os modelos de previsão sofrem que as previsões para novos sujeitos sejam muito extremas (ou seja, que a probabilidade observada do resultado seja maior que a prevista para indivíduos de baixo risco e menor que a prevista para sujeitos de alto risco). Isso é observado traçando a curva pontilhada que é maior que o ideal (tracejado) para o grupo de baixo risco e menor que o ideal para o grupo de alto risco.

Usando o mesmo raciocínio, a curva corrigida pelo viés parece ser pior, no sentido em que produz probabilidades ainda mais extremas. Minha interpretação está correta?

A curva rotulada bias-correctedparece estar "super confiante": suas previsões para Predicted P(Class=1)<0.5são muito baixas e suas previsões para Predicted P(Class=1)>0.5são muito altas em relação a Actual probability.

Esse também é o caso da curva rotulada apparent, exceto nos extremos (aproximadamente: x <= 0,28 ou x> = 0,9) ela parece realmente ser$less$ confiante.

Não tenho certeza dos detalhes do método de correção de viés rms, mas não acho que o resultado seja necessariamente "pior"; Com a correção, as estimativas de probabilidade são paralelas ao ideal. Em outras palavras, embora se saiba que o modelo é um pouco confiante demais, podemos dizer que a diferença entre a previsão média para uma população com P (classe) = 0,2 é metade da previsão média para uma população com P (classe) = 0,4 , o que não era o caso antes e provavelmente o que se esperaria.