Esta é a função de perda de desvio binomial do scikit GradientBoosting,
def __call__(self, y, pred, sample_weight=None):
"""Compute the deviance (= 2 * negative log-likelihood). """
# logaddexp(0, v) == log(1.0 + exp(v))
pred = pred.ravel()
if sample_weight is None:
return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred))
else:
return (-2.0 / sample_weight.sum() *
np.sum(sample_weight * ((y * pred) - np.logaddexp(0.0, pred))))
Essa perda de funções não é semelhante entre classe com 0 e classe com 1. Alguém pode explicar como isso é considerado bom.
Por exemplo, sem peso de amostra, a função de perda para a classe 1 é
-2(pred - log(1 + exp(pred))
vs para classe 0
-2(-log(1+exp(pred))
A trama para esses dois não é semelhante em termos de custo. Alguém pode me ajudar a entender.
pred
por probabilidades de log, a função de perda é uniforme para ambas as classes.