Coeficientes de regressão que invertem o sinal após incluir outros preditores

31

Imagine

  • Você executa uma regressão linear com quatro preditores numéricos (IV1, ..., IV4)
  • Quando apenas IV1 é incluído como preditor, o beta padronizado é +.20
  • Quando você também inclui IV2 a IV4, o sinal do coeficiente de regressão padronizado de IV1 muda para -.25(isto é, tornou-se negativo).

Isso gera algumas perguntas:

  • Com relação à terminologia, você chama isso de "efeito supressor"?
  • Quais estratégias você usaria para explicar e entender esse efeito?
  • Você tem algum exemplo de tais efeitos na prática e como você explicou e entendeu esses efeitos?
Jeromy Anglim
fonte
Como você explicaria uma situação em que os coeficientes alteram os sinais ao incluir preditores, mas definitivamente não há multicolinearidade envolvida (como sugerem baixos valores de VIF)? Curiosamente, porém, ao incluir preditores, o sinal mudou para o que eu inicialmente esperava (positivo). Foi negativo em uma regressão variável simples e independente (a matriz de correlação mostrou uma correlação negativa mínima com a variável dependente), mas instantaneamente se tornou positiva com outros preditores incluídos.
@ John, você pode excluir seu comentário e postar sua pergunta como uma pergunta separada neste site (por exemplo, usando "fazer uma pergunta no topo". Se você acha que sua pergunta está relacionada a esta pergunta, adicione um link para esta pergunta em sua nova pergunta.
Jeromy Anglim
2
Um artigo que escrevi com Seth Dutter pode ajudar a esclarecer as coisas. É escrito principalmente de uma perspectiva geométrica. Aqui está o link: arxiv.org/abs/1503.02722 . -Brian Knaeble, B., & Dutter, S. (2015). Reversões de estimativas de mínimos quadrados e estimativa independente de modelo para direções de efeitos únicos. pré-impressão do arXiv arXiv: 1503.02722.

Respostas:

26

A multicolinearidade é o suspeito usual, como JoFrhwld mencionou. Basicamente, se suas variáveis ​​estiverem correlacionadas positivamente, os coeficientes serão correlacionados negativamente, o que pode levar a um sinal errado em um dos coeficientes.

Uma verificação seria executar uma regressão de componentes principais ou regressão de crista. Isso reduz a dimensionalidade do espaço de regressão, manipulando a multicolinearidade. Você acaba com estimativas tendenciosas, mas um MSE possivelmente mais baixo e sinais corrigidos. Se você acompanha esses resultados específicos ou não, é uma boa verificação de diagnóstico. Se você ainda receber alterações de sinal, pode ser teoricamente interessante.

ATUALIZAR

Após o comentário na resposta de John Christie, isso pode ser interessante. A reversão na associação (magnitude ou direção) são exemplos dos efeitos de Paradoxo de Simpson, Paradoxo de Lord e Supressão. As diferenças estão essencialmente relacionadas ao tipo de variável. É mais útil entender o fenômeno subjacente do que pensar em termos de um "paradoxo" ou efeito específico. Para uma perspectiva causal, o artigo abaixo explica bem o porquê e cito detalhadamente sua introdução e conclusão para estimular seu apetite.

Tu et al apresentam uma análise da equivalência de três paradoxos, concluindo que todos os três simplesmente reiteram a mudança surpreendente na associação de duas variáveis ​​quando uma terceira variável é estatisticamente controlada. Chamo isso de surpreendente, porque reversão ou mudança de magnitude é comum na análise condicional. Para evitar qualquer um deles, devemos evitar a análise condicional por completo. O que há nos paradoxos de Simpson e Lord ou no efeito de supressão, além de apontarem o óbvio, que atrai os interesses intermitentes e às vezes alarmistas vistos na literatura?

[...]

Em conclusão, não se pode enfatizar excessivamente que, embora os paradoxos de Simpson e seus correlatos revelem os perigos do uso de critérios estatísticos para guiar a análise causal, eles não mantêm nem as explicações do fenômeno que pretendem representar nem os indicadores de como evitá-los. As explicações e soluções estão no raciocínio causal, que se baseia no conhecimento prévio, não em critérios estatísticos. Já é tempo de pararmos de tratar sinais e sintomas mal interpretados ('paradoxos') e começarmos a lidar com a doença ('causalidade'). Devemos, com razão, voltar nossa atenção para o problema perene da seleção covariada para análise causal usando dados não experimentais.

ars
fonte
1
Obrigado pela sugestão de explorar a regressão cume ou PCA. Apenas um ponto secundário em relação ao seu comentário "se suas variáveis ​​estiverem correlacionadas positivamente, então os coeficientes serão correlacionados negativamente, levando à reversão de sinais".
Jeromy Anglim
Desculpe, essa é uma explicação incorreta de uma linha, escrita às pressas. Corrigido agora, obrigado.
ars
Grande ponto sobre a importância dos mecanismos causais.
Jerry Anglim
14

Acredito que efeitos como esses são freqüentemente causados ​​por colinearidade (veja esta pergunta ). Eu acho que o livro sobre modelagem multinível de Gelman e Hill fala sobre isso. O problema é que IV1está correlacionado com um ou mais dos outros preditores e, quando todos são incluídos no modelo, sua estimativa se torna irregular.

Se o inversão do coeficiente é devido à colinearidade, não é realmente interessante relatar, porque não é devido à relação entre seus preditores e o resultado, mas realmente devido à relação entre preditores.

O que vi sugerido para resolver esse problema é a residualização. Primeiro, você ajusta um modelo e IV2 ~ IV1, em seguida, toma os resíduos desse modelo como rIV2. Se todas as suas variáveis ​​estiverem correlacionadas, você deve realmente residualizar todas elas. Você pode optar por fazer isso assim

rIV2 <- resid(IV2 ~ IV1)
rIV3 <- resid(IV3 ~ IV1 + rIV2)
rIV4 <- resid(IV4 ~ IV1 + rIV2 + rIV3)

Agora, ajuste o modelo final com

DV ~ IV1 + rIV2 + rIV3 + rIV4

Agora, o coeficiente para rIV2representa o efeito independente de IV2dada sua correlação com IV1. Ouvi dizer que você não obterá o mesmo resultado se você se restabelecer em uma ordem diferente, e que escolher a ordem de residualização é realmente um julgamento na sua pesquisa.

JoFrhwld
fonte
Obrigado pela resposta. Eu tive esses pensamentos. (a) Multicolinearidade: eu concordo. Sem isso, os coeficientes não devem mudar. (b) é interessante? Na verdade, acho que o lançamento do sinal pode ter interpretações teóricas interessantes em alguns casos; mas talvez não de uma perspectiva de previsão pura. (c) Residualização: eu gostaria de ouvir o que as outras pessoas pensam dessa abordagem.
Jeromy Anglim
Não tenho certeza se a multicolinearidade pode ser interessante. Digamos que você teve algum resultado Oe seus preditores são Incomee Father's Income. O fato que Incomeestá correlacionado Father's Incomeé intrinsecamente interessante, mas esse fato seria verdadeiro, não importa o valor de O. Ou seja, você pode estabelecer que Oos preditores são todos colineares, sem nunca coletar os dados do resultado, ou mesmo saber qual é o resultado! Esses fatos não devem ficar especialmente mais interessantes quando você souber que Oé realmente Education.
precisa saber é o seguinte
Estou sugerindo que o efeito supressor pode ser teoricamente interessante, do qual presumivelmente a multicolinearidade fornece um ponto de partida para uma explicação.
Jeromy Anglim
5

Veja Paradoxo de Simpson . Em resumo, o principal efeito observado pode reverter quando uma interação é adicionada a um modelo. Na página vinculada, a maioria dos exemplos é categórica, mas há uma figura no topo da página que se poderia imaginar continuamente. Por exemplo, se você tiver um preditor categórico e contínuo, o preditor contínuo poderá virar facilmente o sinal se o categórico for adicionado e, em cada categoria, o sinal for diferente do da pontuação geral.

John
fonte
Bom ponto. Todos os exemplos do Paradox de Simpson se aplicam a variáveis ​​categóricas. O conceito de uma variável supressora é o equivalente numérico?
Jeromy Anglim