Quais são as motivações para o uso da função logística como modelo de classificação binária?

A regressão logística, usada na classificação binária, usa a função logística como modelo para a probabilidade subjacente da variável de resultado.

Possui algumas propriedades úteis e essenciais para a montagem desse modelo. Por exemplo, está aumentando monotonicamente, tende a 1 quando x tende ao infinito, tende a 0 quando x tende a menos o infinito, nunca é 0 nem 1 (permitindo probabilidade positiva de qualquer resultado independentemente da entrada). No entanto, existem outras opções para a função que satisfazem essas propriedades.

Então, a função logística é usada simplesmente por conveniência, ou existem outras motivações pelas quais a função logística é a função "correta" ou apenas adequada para uso?

Existem várias razões para escolher a função logística como um método "padrão" para estimar probabilidades de uma ou mais variáveis. Aqui estão alguns:

1. Histórico, por exemplo, curvas dose-resposta
2. Quando usados ​​com uma especificação de regressão no lado direito de um modelo, os efeitos da regressão são interpretáveis, pois podem estar relacionados a razões de chances para os efeitos separados dos preditores.
3. Se você começar com uma premissa de normalidade multivariada para os preditores, como na análise discriminante linear, o uso da regra de Bayes para reverter o condicionamento produz o modelo logístico
4. A forma se encaixa nos dados reais a maior parte do tempo

Observe que a logística não é usada para classificação, mas para estimativa direta de probabilidade.

Uma característica técnica da função de link logístico é que, quando combinada com a estimativa de ML (ou modo posterior com plano anterior), a equação do gradiente se torna

Ou seja, seus resíduos, $p_i - y_i$, não estão correlacionados com as covariáveis, $x_i$ (Nota: $y_i$ é binário $0$ ou $1$) Isso é análogo à regressão ols. Se você tiver uma função de link diferente - a equação é modificada pela inclusão de "pesos" que dependem da diferença entre a função de link e a da logística. Uma característica prática disso é que, se você incluir uma interceptação em seu modelo, as probabilidades ajustadas adicionarão o número de "sucessos" (observações em que$y_i=1$) Da mesma forma para variáveis ​​fatoriais.