Polarização variável omitida na regressão logística vs. polarização variável omitida na regressão de mínimos quadrados ordinários

Eu tenho uma pergunta sobre o viés variável omitido na regressão logística e linear.

Digamos que eu omita algumas variáveis ​​de um modelo de regressão linear. Finja que essas variáveis ​​omitidas não estão correlacionadas com as variáveis ​​que incluí no meu modelo. Essas variáveis ​​omitidas não influenciam os coeficientes no meu modelo.

Mas na regressão logística, acabei de aprender que isso não é verdade. As variáveis ​​omitidas influenciarão os coeficientes nas variáveis ​​incluídas, mesmo que as variáveis ​​omitidas não estejam correlacionadas com as variáveis ​​incluídas. Encontrei um artigo sobre esse assunto, mas não consigo entender.

Aqui está o papel e alguns slides do powerpoint.

O viés, aparentemente, é sempre em direção a zero. Alguém pode explicar como isso funciona?

O caso do "viés de atenuação" pode ser apresentado com mais clareza se examinarmos o modelo "probit" - mas o resultado também é transferido para a regressão logística.

Sob os modelos de probabilidade condicional (modelos de logística (logit), "probit" e "probabilidade linear"), podemos postular um modelo de regressão linear latente (não observável):

$$y^* = X\beta + u$$

onde é uma variável inobservável contínua (e X é a matriz regressora). O termo de erro é considerado independente dos regressores e segue uma distribuição que tem uma densidade simétrica em torno de zero e, no nosso caso, a distribuição normal padrão F U ( u ) = Φ ( u ) .$y^*$$X$$F_U(u)= \Phi(u)$

Assumimos que o que observamos, ou seja, a variável binária , é uma função Indicadora do inobservável y ∗ :$y$$y^*$

$$y = 1 \;\;\text{if} \;\;y^*>0,\qquad y = 0 \;\;\text{if}\;\; y^*\le 0$$

Então perguntamos "qual é a probabilidade de assumir o valor 1 dado os regressores?" (ou seja, estamos olhando para uma probabilidade condicional). Isto é$y$$1$

$$P(y =1\mid X ) = P(y^*>0\mid X) = P(X\beta + u>0\mid X) = P(u> - X\beta\mid X) \\= 1- \Phi (-Χ\beta) = \Phi (X\beta)$$

a última igualdade devido à propriedade "reflexiva" da função de distribuição cumulativa padrão, que vem da simetria da função de densidade em torno de zero. Observe que, embora tenhamos assumido que é independente de X , é necessário condicionar X para tratar a quantidade X β como não aleatória.$u$$X$$X$$X\beta$

Se assumirmos que , obtemos o modelo teórico$X\beta = b_0+b_1X_1 + b_2X_2$

$$P(y =1\mid X ) = \Phi (b_0+b_1X_1 + b_2X_2) \tag{1}$$

Vamos agora seja independente de X 1 e erroneamente excluídos a partir da especificação da regressão subjacente. Então especificamos$X_2$$X_1$

Suponha ainda que X 2 também seja uma variável aleatória normal X 2 ∼ N ( μ 2 , σ 2 2 ) . Mas isso significa que

$$y^* = b_0+b_1X_1 + \epsilon$$ $X_2$$X_2 \sim N(\mu_2,\sigma_2^2)$

$$\epsilon = u + b_2X_2 \sim N(b_2\mu_2, 1+b_2^2\sigma_2^2)$$

devido ao fechamento sob adição da distribuição normal (e ao pressuposto de independência). Aplicando a mesma lógica de antes, aqui temos

$$P(y =1\mid X_1 ) = P(y^*>0\mid X_1) = P(b_0+b_1X_1 + \epsilon>0\mid X_1) = P(\epsilon> - b_0-b_1X_1\mid X_1)$$

$\epsilon$

$$P(y =1\mid X_1 )= 1- P\left(\frac{\epsilon-b_2\mu_2}{\sqrt {1+b_2^2\sigma_2^2}}\leq - \frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}- \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\mid X_1\right)$$

$$\Rightarrow P(y =1\mid X_1) = \Phi\left(\frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}+ \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\right) \tag{2}$$

$(1)$$(2)$

$b_1$

$$\hat b_1 \xrightarrow{p} \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}} \implies |\hat b_1|< |b_1|$$

que é o resultado de "desvio para zero".

$\epsilon$