Validação interna via bootstrap: Qual curva ROC apresentar?

Estou usando a abordagem de autoinicialização para validação interna de um modelo multivariado criado com regressão logística padrão OU rede elástica.

O procedimento que eu uso é o seguinte:

1) criar modelo usando todo o conjunto de dados, obter valores previstos e calcular AUC (AUC_ap, aparente)

2) gerar 100-500 amostras de autoinicialização derivadas do conjunto de dados original

3) para cada amostra de bootstrap, siga o procedimento idêntico ao do nº 1 e obtenha os valores previstos e auc para i) amostra atual de bootstrap e ii) conjunto de dados original

4) calcule a diferença entre i) e ii) (no nº 3) para cada uma das amostras 100-500 de inicialização e faça a média -> "otimismo"

5) calcular AUC corrigida pelo otimismo: AUC_ap - otimismo

Minha pergunta é: qual seria a melhor curva ROC a ser apresentada em um artigo? Por exemplo, o ROC derivado na etapa 1 é uma opção, mas claramente otimista. Como alternativa, tentei gerar um "ROC médio" usando o pacote R do ROCR, com base nas curvas ROC derivadas na etapa 3 (ii). No entanto, a AUC para a [média dessas curvas ROC] não acredito que seja equivalente ao valor obtido na etapa 5.

Qualquer entrada é muito apreciada! -M

$c$

Além de apresentar baixo rendimento de informações, as curvas ROC convidam os analistas a buscar pontos de corte nas probabilidades previstas, o que é um desastre na tomada de decisões.

Você levantou uma pergunta muito boa que eu estava pensando há muito tempo. Talvez dependa dos seus resultados para decidir como denunciar. Na maioria das situações, os autores gostariam de relatar uma AUC bruta / aparente (ou seja, etapa 1 da sua pergunta) apesar do otimismo excessivo ou não e, em seguida, relatam a AUC corrigida pelo otimismo de auto-inicialização (ou seja, etapa 5). veja ref: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0125026

Em algumas situações em que a AUC parece não ser otimista demais, o autor reportaria diretamente a AUC corrigida.

Quanto à AUC na etapa 3 (ii), ela raramente foi relatada e é melhor ignorá-la.

Faltam muitos detalhes para sua pergunta - no entanto, parece-me que você não está falando sobre o conjunto de testes . Se você pretende demonstrar a generalização do seu modelo (que é o principal caso de uso de uma curva ROC), espera-se que você apresente o ROC derivado de um conjunto de testes , não de validação ou conjunto de validação interno . ou um ROC médio derivado de vários conjuntos de testes. Portanto, é importante que você encontre uma maneira de gerar conjuntos de teste e faça a partir daí.

Uma boa referência para aprender a análise ROC (e como criar curvas médias ROC) é:

Fawcett, T. (2006). Uma introdução à análise ROC. Cartas de reconhecimento de padrões, 27 (8), 861–874. http://www.sciencedirect.com/science/article/pii/S016786550500303X