Regressão logística - preocupações multicolineares / armadilhas

16

Em Regressão logística, é necessário estar tão preocupado com a multicolinearidade quanto na regressão OLS direta?

Por exemplo, com uma regressão logística, onde existe multicolinearidade, você precisa ser cauteloso (como faria na regressão OLS) ao deduzir inferência dos coeficientes Beta?

Para a regressão OLS, uma "correção" para multicolinearidade alta é a regressão de crista, existe algo parecido com isso na regressão logística? Além disso, descartando variáveis ​​ou combinando variáveis.

Quais abordagens são razoáveis ​​para reduzir os efeitos da multicolinearidade em uma regressão logística? Eles são essencialmente iguais aos OLS?

(Nota: isto não é para o propósito de uma experiência projetada)

Brandon Bertelsen
fonte

Respostas:

16

Todos os mesmos princípios relativos à multicolinearidade se aplicam à regressão logística, assim como ao OLS. Os mesmos diagnósticos que avaliam a multicolinearidade podem ser usados ​​(por exemplo, VIF, número da condição, regressões auxiliares) e as mesmas técnicas de redução de dimensão podem ser usadas (como combinar variáveis ​​por meio da análise de componentes principais).

Essa resposta de chl o levará a alguns recursos e pacotes R para ajustar modelos logísticos penalizados (bem como uma boa discussão sobre esses tipos de procedimentos de regressão penalizada). Mas alguns de seus comentários sobre "soluções" para multicolinearidade são um pouco desconcertantes para mim. Se você se preocupa apenas em estimar relacionamentos para variáveis ​​que não são colineares, essas "soluções" podem ser boas, mas se você estiver interessado em estimar coeficientes de variáveis ​​colineares, essas técnicas não resolverão o seu problema. Embora o problema da multicolinearidade seja técnico, pois sua matriz de variáveis ​​preditivas não pode ser invertida, ela possui um análogo lógico, pois seus preditores não são independentes e seus efeitos não podem ser identificados exclusivamente.

Andy W
fonte
2
(+1) Sim, existem algumas versões penalizadas da regressão logística (ou, mais geralmente, GLMs), consulte algumas referências: stats.stackexchange.com/questions/4272/… .
chl
@ chl, obrigado. Eu atualizei para vincular à sua resposta anterior.
Andy W
Thx também. Este foi apenas um comentário sobre sua já excelente resposta.
chl