Informações fora da matriz hat para regressão logística

É claro para mim, e bem explicado em vários sites, quais informações os valores na diagonal da matriz hat fornecem regressão linear.

A matriz hat de um modelo de regressão logística é menos clara para mim. É idêntico à informação que você obtém da matriz hat, aplicando regressão linear? Esta é a definição da matriz de chapéu que encontrei em outro tópico do CV (fonte 1):

$H=VX ( X'V X)^-1 X' V$

com X o vetor de variáveis preditoras e V é uma matriz diagonal com $\sqrt{(π(1−π))}$ .

Em outras palavras, também é verdade que o valor particular da matriz hat de uma observação também apenas apresenta a posição das covariáveis no espaço covariável e não tem nada a ver com o valor final dessa observação?

Isso está escrito no livro "Análise de dados categóricos" da Agresti:

Quanto maior a alavancagem de uma observação, maior sua potencial influência no ajuste. Como na regressão comum, as alavancas caem entre 0 e 1 e somam o número de parâmetros do modelo. Diferentemente da regressão comum, os valores do chapéu dependem do ajuste e da matriz do modelo, e os pontos com valores preditivos extremos não precisam ter alta alavancagem.

Então, fora dessa definição, parece que não podemos usá-lo como o usamos na regressão linear comum?

Fonte 1: Como calcular a matriz hat para regressão logística em R?

regression logistic Kasper
fonte

Respostas:

Deixe-me mudar um pouco a notação e escrever a matriz do chapéu como ondeé uma matriz simétrica diagonal com elementos gerais. Denunciecomo os grupos de indivíduos com o mesmo valor covariável. É possível obter oelemento diagonal () da matriz como chapéu

H = V^{\frac{1}{2}} X (X^{'} V X)^{- 1} X^{'} V^{\frac{1}{2}}

$H = V^{\frac{1}{2}}X(X'VX)^{-1}X'V^{\frac{1}{2}}$

V

$V$

v_{j} = m_{j} π (x_{j}) [1 - π (x_{j})]

$v_j = m_j \pi (x_j) \left[1 - \pi (x_j) \right]$

m_{j}

$m_j$

x = x_{j}

$x = x_j$

j^{t h}

$j^{th}$

h_{j}

$h_j$

Então a soma de

fornece o número de parâmetros como na regressão linear. Agora à sua pergunta:

h_{j} = m_{j} π (x_{j}) [1 - π (x_{j})] x_{j}^{'} (X^{'} V X)^{- 1} x_{j}^{'}

$h_j = m_j \pi (x_j) \left[1 - \pi (x_j) \right] x'_j (X'VX)^{-1}x'_j$

h_{j}

$h_j$

$\pi$ $0.1 < \pi < 0.9$ , você pode interpretar os valores de alavancagem de maneira semelhante à do caso de regressão linear, ou seja, estar mais longe da média fornece valores mais altos. Se você estiver no extremo da distribuição de probabilidade, esses valores de alavancagem podem não medir mais a distância no mesmo sentido. Isso é mostrado na figura abaixo, extraída de Hosmer e Lemeshow (2000):

insira a descrição da imagem aqui

$x'_j (X'VX)^{-1}x'_j$ $h_j$ , portanto, essa parte monotônica separada raramente é considerada sozinha.

Se você quiser ler mais sobre este tópico, dê uma olhada no artigo de Pregibon (1981), que derivou a matriz do chapéu logístico, e no livro de Hosmer e Lemeshow (2000).

Pregibon, D. (1981) "Logistic regression diagnostics", Annals of Statistics, vol. 9 (4), pp. 705-724
Hosmer, DW e Lemeshow, S. (2000) "Regressão Logística Aplicada", 2ª Edição, John Wiley and Sons, Inc.

Andy
fonte