Por que existem duas formulações / notações de perda logística diferentes?

Eu já vi dois tipos de formulações de perda logística. Podemos mostrar facilmente que eles são idênticos, a única diferença é a definição do rótulo .$y$

Formulação / notação 1, :$y \in \{0, +1\}$

$$L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p)$$

onde , em que a função logística mapeia um número real para um intervalo de 0,1.$p=\frac 1 {1+\exp(-\beta^Tx)}$$\beta^T x$

Formulação / notação 2, :$y \in \{-1, +1\}$

$$L(y,\beta^Tx)=\log(1+\exp{(-y\cdot \beta^Tx}))$$

Escolher uma notação é como escolher um idioma, existem prós e contras para usar um ou outro. Quais são os prós e os contras dessas duas notações?

---

Minhas tentativas de responder a essa pergunta são: parece que a comunidade estatística gosta da primeira notação e a comunidade da ciência da computação gosta da segunda notação.

• A primeira notação pode ser explicada com o termo "probabilidade", pois a função logística transforma um número real $\beta^Tx$ em um intervalo de 0,1.
• E a segunda notação é mais concisa e é mais fácil comparar com perda de dobradiça ou perda de 0-1.

Estou certo? Alguma outra visão?

A versão curta

• sim
• sim

A versão longa

O bom da modelagem matemática é que ela é flexível. Essas são realmente funções de perda equivalentes, mas derivam de modelos subjacentes muito diferentes dos dados.

Fórmula 1

A primeira notação deriva de um modelo de probabilidade de Bernoulli para , que é definido convencionalmente em { 0 , 1 } . Nesse modelo, o resultado / etiqueta / classe / previsão é representado por uma variável aleatória que segue uma distribuição . Portanto, sua probabilidade é: P ( Y = y | p ) = L ( p ; y ) = p y ( 1 - p ) 1 - y$y$$\{0, 1\}$B e r n o u l l i ( p $Y$$\mathrm{Bernoulli}(p)$

$$P(Y = y\ |\ p) = \mathcal L(p; y) = p^y\ (1-p)^{1-y} = \begin{cases}1-p &y=0 \\ p &y=1 \end{cases}$$

para . Usar 0 e 1 como valores do indicador nos permite reduzir a função por partes no extremo direito para uma expressão concisa.$p\in[0, 1]$

Como você apontou, é possível vincular a uma matriz de dados de entrada x deixando logit p = β T x . A partir daqui, a manipulação algébrica direta revela que o log L ( p ; y ) é o mesmo que o primeiro L ( y , β T x ) na sua pergunta (dica: ( y - 1 ) = - ( 1 - y ) ). Portanto, minimizando a perda de log em { 0 $Y$$x$$\operatorname{logit} p = \beta^T x$$\log \mathcal L(p;y)$$L(y, \beta^Tx)$$(y - 1) = - (1 - y)$ é equivalente à estimativa de máxima verossimilhança de um modelo de Bernoulli.$\{0, 1\}$

Esta formulação é também um caso especial do modelo linear generalizado , que é formulada como para uma invertível, diferenciável função g e uma distribuição de D na família exponencial .$Y \sim D(\theta),\ g(Y) = \beta^T x$$g$$D$

Fórmula 2

Na verdade .. não estou familiarizado com a Fórmula 2. No entanto, definir em { - 1 , 1 } é padrão na formulação de uma máquina de vetores de suporte . Ajustar um SVM corresponde a maximizar max ( { 0 , 1 - y β T x } ) + λ ″ β ″ 2$y$$\{-1, 1\}$

$$\max \left(\{0, 1 - y \beta^T x \}\right) + \lambda \|\beta\|^2.$$

$$\ell(y, \beta) + \lambda \|\beta\|^2$$ $\ell$$\lambda$$\beta$$\ell$$L(y, \beta^Tx)$

Acho que o @ssdecontrol teve uma resposta muito boa. Eu só quero adicionar alguns comentários para a fórmula 2 para minha própria pergunta.

$$L(y,\hat y)=\log(1+\exp{(-y\cdot \hat y}))$$

A razão pela qual as pessoas gostam dessa formulação é que ela é muito concisa e remove os "detalhes da interpretação da probabilidade".

$\hat y$$y$$\hat y$

$$L_{01}(y,\hat y)=I[y \cdot \hat y >0]\\ L_{\text{hinge}}(y,\hat y)=(1-y \cdot \hat y)_+\\ L_{\text{logistic}}(y,\hat y)=\log(1+\exp(-y \cdot \hat y))$$

$y \cdot \hat y$$\hat y$$\beta^Tx$