Como calcular os erros padrão dos coeficientes de uma regressão logística

Estou usando o scikit-learn do Python para treinar e testar uma regressão logística.

O scikit-learn retorna os coeficientes da regressão das variáveis ​​independentes, mas não fornece os erros padrão dos coeficientes. Eu preciso desses erros padrão para calcular uma estatística de Wald para cada coeficiente e, por sua vez, comparar esses coeficientes entre si.

Eu encontrei uma descrição de como calcular erros padrão para os coeficientes de uma regressão logística ( aqui ), mas é um pouco difícil de seguir.

Se você conhece uma explicação simples e sucinta de como calcular esses erros padrão e / ou pode me fornecer um, eu realmente aprecio isso! Não quero dizer código específico (embora fique à vontade para publicar qualquer código que possa ser útil), mas uma explicação algorítmica das etapas envolvidas.

Seu software fornece uma matriz de covariância a parâmetros (ou covariância a variações)? Nesse caso, os erros padrão são a raiz quadrada da diagonal dessa matriz. Você provavelmente deseja consultar um livro didático (ou o google para obter notas de aula universitárias) sobre como obter a matriz para modelos lineares e lineares generalizados.$V_\beta$

Os erros padrão dos coeficientes do modelo são as raízes quadradas das entradas diagonais da matriz de covariância. Considere o seguinte:

• Matriz de projeto:

$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix}$$x_{i,j}$$j$$i$

(NOTA: Isso pressupõe um modelo com interceptação.)

• $\textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$$\hat{\pi}_{i}$$i$

A matriz de covariância pode ser escrita como:

$\textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$

Isso pode ser implementado com o seguinte código:

import numpy as np
from sklearn import linear_model

# Initiate logistic regression object
logit = linear_model.LogisticRegression()

# Fit model. Let X_train = matrix of predictors, y_train = matrix of variable.
# NOTE: Do not include a column for the intercept when fitting the model.
resLogit = logit.fit(X_train, y_train)

# Calculate matrix of predicted class probabilities.
# Check resLogit.classes_ to make sure that sklearn ordered your classes as expected
predProbs = resLogit.predict_proba(X_train)

# Design matrix -- add column of 1's at the beginning of your X_train matrix
X_design = np.hstack([np.ones((X_train.shape[0], 1)), X_train])

# Initiate matrix of 0's, fill diagonal with each predicted observation's variance
V = np.diagflat(np.product(predProbs, axis=1))

# Covariance matrix
# Note that the @-operater does matrix multiplication in Python 3.5+, so if you're running
# Python 3.5+, you can replace the covLogit-line below with the more readable:
# covLogit = np.linalg.inv(X_design.T @ V @ X_design)
covLogit = np.linalg.inv(np.dot(np.dot(X_design.T, V), X_design))
print("Covariance matrix: ", covLogit)

# Standard errors
print("Standard errors: ", np.sqrt(np.diag(covLogit)))

# Wald statistic (coefficient / s.e.) ^ 2
logitParams = np.insert(resLogit.coef_, 0, resLogit.intercept_)
print("Wald statistics: ", (logitParams / np.sqrt(np.diag(covLogit))) ** 2)

Tudo isso dito, statsmodelsprovavelmente será um pacote melhor para usar se você desejar acessar MUITOS diagnósticos "prontos para uso".

Se você estiver interessado em fazer inferência, provavelmente desejará dar uma olhada nos modelos de estatísticas . Erros padrão e testes estatísticos comuns estão disponíveis. Aqui está um exemplo de regressão logística .