Como calcular manualmente o intercepto e o coeficiente na regressão logística

Atualmente, estou estudando sobre regressão logística. Mas estou ficando paralisado no cálculo da interceptação ( ) e do coeficiente ( ). Eu tenho procurado pela Internet, mas só recebo tutoriais usando o Microsoft Excel ou funções internas do R. Ouvi dizer que isso pode ser resolvido pela Máxima Verossimilhança, mas não entendo como usá-lo, porque não tem um histórico estatístico. Alguém pode me dar uma breve explicação e simulação para calcular os coeficientes manualmente?$\beta_0$$\beta_1$

Infelizmente, diferentemente da regressão linear, não existe uma fórmula simples para a estimativa de probabilidade máxima de regressão logística. Você precisará executar algum tipo de algoritmo de otimização, como descida de gradiente ou mínimos quadrados iterativamente ponderados .

Gostaria de propor meu método e espero que ajude.

Para calcular os coeficientes manualmente, você deve ter alguns dados ou dizer restrições. Na regressão logística, na verdade é como a função logística é definida por meio dos multiplicadores máximos de entropia e , essa restrição deve ser atendida com outros dois: . Ou seja, a expectativa do modelo deve corresponder à expectativa observada , que foi ilustrada neste artigo . É por isso que a função logit como uma função de link na regressão logística também é denominada função média.$E_p f_j = E_{\hat p}f_j$

Tomemos, por exemplo, a tabela de referência cruzada abaixo mostra quantos homens / mulheres estão na classe de honra.

           |         female
       hon |      male     female |     Total  
-----------+----------------------+----------
         0 |        74         77 |       151 
         1 |        17         32 |        49 
-----------+----------------------+----------
     Total |        91        109 |       200

Como mencionado acima, mantém. O lado esquerdo (LHS) é a expectativa das observações (y's nas amostras) e o lado direito (RHS) é a expectativa do modelo.$\sum_i y_i x_{ij} = \sum_i p_i x_{ij}$

Supondo que a função seja ou equivalente ( representa a característica da observação ser uma mulher, é 1 se a observação é uma mulher e 0 caso contrário), obviamente sabemos que as duas equações a seguir se aplicam respectivamente quando e quando com os dados mostrados acima: $log(\frac{p}{1-p})=\beta_0 + \beta_1x_i$$p=\frac{1}{1+e^{-(\beta_0+\beta_1 * x_i)}}$$x_i$$X=1$$X=0$

Portanto, a interceptação ( ) é -1,47 e o coeficiente ( ) é 0,593. Você pode obtê-lo manualmente.β $\beta_0$$\beta_1$

Na mesma linha, é possível calcular manualmente os coeficientes de outros modelos de regressão logística (se aplica também à regressão softmax, mas está fora do escopo desta pergunta) se dados suficientes forem fornecidos.

Espero estar certo, se não, por favor me avise. Obrigado.