Estou tentando entender melhor a perda de log e como ela funciona, mas uma coisa que não consigo encontrar é colocar o número da perda de log em algum tipo de contexto. Se meu modelo tiver uma perda de log de 0,5, isso é bom? O que é considerado uma pontuação boa e ruim? Como esses limites...
Treinei dois modelos (classificadores binários usando o h2o AutoML) e quero selecionar um para usar. Eu tenho os seguintes resultados: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685...
Estou executando uma tarefa de classificação binária em que a probabilidade de resultado é baixa (cerca de 3%). Estou tentando decidir se deve otimizar por AUC ou perda de log. Tanto quanto eu entendi, a AUC maximiza a capacidade do modelo de discriminar entre classes, enquanto o logloss penaliza a...