Efeito de supressão na regressão: definição e explicação / representação visual

40

O que é uma variável supressora na regressão múltipla e quais podem ser as maneiras de exibir visualmente o efeito da supressão (sua mecânica ou sua evidência nos resultados)? Eu gostaria de convidar todos que têm um pensamento para compartilhar.

ttnphns
fonte
2
Ah, isso é legal e interessante. Muito obrigado. Você deseja adicionar uma resposta com base nisso? Seria útil para muitos.
ttnphns

Respostas:

45

Existem vários efeitos regressivos mencionados com frequência, que conceitualmente são diferentes, mas compartilham muito em comum quando vistos puramente estatisticamente (veja, por exemplo, este artigo "Equivalência do efeito de mediação, confusão e supressão" de David MacKinnon et al., Ou artigos da Wikipedia):

  • Mediador: IV que transmite o efeito (totalmente ou parcialmente) de outro IV ao DV.
  • Confundidor: IV que constitui ou impede, total ou parcialmente, efeito de outro IV no DV.
  • Moderador: IV que, variando, gerencia a força do efeito de outro IV no VD. Estatisticamente, é conhecido como interação entre os dois IVs.
  • Supressor: IV (um mediador ou moderador conceitualmente) cuja inclusão reforça o efeito de outro IV no VD.

Não vou discutir até que ponto alguns ou todos eles são tecnicamente semelhantes (para isso, leia o artigo acima). Meu objetivo é tentar mostrar graficamente o que é supressor . A definição acima de que "supressor é uma variável cuja inclusão reforça o efeito de outro IV no VD" me parece potencialmente ampla porque não diz nada sobre os mecanismos desse aprimoramento. Abaixo, estou discutindo um mecanismo - o único que considero supressão. Se também existem outros mecanismos (por enquanto, ainda não tentei meditar), a definição "ampla" acima deve ser considerada imprecisa ou minha definição de supressão deve ser considerada muito estreita.

Definição (no meu entendimento)

Supressor é a variável independente que, quando adicionada ao modelo, eleva o quadrado R observado principalmente devido à sua contabilização dos resíduos deixados pelo modelo sem ele, e não devido à sua própria associação com o DV (que é comparativamente fraco). Sabemos que o aumento do quadrado R em resposta à adição de um IV é a correlação da parte quadrática desse IV nesse novo modelo. Dessa forma, se a correlação parcial do IV com o DV for maior (por valor absoluto) do que a ordem zero entre eles, esse IV é um supressor.r

Portanto, um supressor "suprime" principalmente o erro do modelo reduzido, sendo fraco como um preditor em si. O termo de erro é o complemento da previsão. A previsão é "projetada" ou "compartilhada" entre os IVs (coeficientes de regressão), e o mesmo ocorre com o termo de erro ("complementa" os coeficientes). O supressor suprime esses componentes de erro de maneira desigual: maior para alguns IVs, menor para outros IVs. Para aqueles IVs "cujos" tais componentes suprime enormemente, empresta considerável ajuda facilitadora ao realmente aumentar seus coeficientes de regressão .

Efeitos de supressão não fortes ocorrem com frequência e descontroladamente (um exemplo neste site). Supressão forte é tipicamente introduzida conscientemente. Um pesquisador procura uma característica que deve se correlacionar com o VD o mais fraco possível e, ao mesmo tempo, se correlacionaria com algo no IV de interesse que é considerado irrelevante, sem previsão, em relação ao VD. Ele entra no modelo e obtém um aumento considerável no poder preditivo desse IV. O coeficiente do supressor normalmente não é interpretado.

Eu poderia resumir minha definição da seguinte forma [na resposta de @ Jake e nos comentários de @ gung]:

  • Definição formal (estatística): supressor é IV com correlação parcial maior que correlação de ordem zero (com o dependente).
  • Definição conceitual (prática): a definição formal acima + a correlação de ordem zero é pequena, de modo que o supressor não é um preditor de som em si.

"Suppessor" é um papel de um IV apenas em um modelo específico , não a característica da variável separada. Quando outros IVs são adicionados ou removidos, o supressor pode repentinamente parar de suprimir ou retomar a supressão ou alterar o foco de sua atividade de supressão.

Situação de regressão normal

A primeira imagem abaixo mostra uma regressão típica com dois preditores (falaremos de regressão linear). A imagem é copiada daqui, onde é explicada em mais detalhes. Em resumo, os preditores e X 2 moderadamente correlacionados (= com ângulo agudo entre eles) abrangem o "plano X" do espaço bidimensional de 2 dimensões. A variável dependente Y é projetada ortogonalmente, deixando a variável prevista Y e os resíduos com st. desvio igual ao comprimento de e . O quadrado R da regressão é o ângulo entre Y e Y X1X2YYeYY , e os dois coeficientes de regressão estão diretamente relacionados às coordenadas de inclinação b1 e , respectivamente. Essa situação eu chamei de normal ou típica, porque X 1 e X 2 se correlacionam com Y (existe um ângulo oblíquo entre cada um dos independentes e o dependente) e os preditores competem pela previsão porque estão correlacionados.b2X1X2Y

insira a descrição da imagem aqui

Situação de supressão

É mostrado na próxima foto. Este é como o anterior; no entanto, o vetor agora se afasta um pouco do visualizador e X 2YX2 mudou sua direção consideravelmente. atua como um supressor. Nota primeiro lugar, que dificilmente se correlaciona com Y . Portanto, não pode ser um preditor valioso em si. Segundo. Imagine X 2X2YX2 está ausente e você prevê apenas por ; a previsão de uma regressão esta variável é descrito como Y * vector de vermelho, o erro como de e * vetor, e o coeficiente é dada por b *X1Yebcoordenada (que é o ponto final de ).Y

insira a descrição da imagem aqui

Agora volte ao modelo completo e observe que está bastante correlacionado com e . Assim, X 2, quando introduzido no modelo, pode explicar uma parte considerável desse erro do modelo reduzido, reduzindo eX2eX2 a de e . Esta constelação: (1) X 2 não é rival de X 1eeX2X1 como um preditor ; e (2) é um lixeiro para captar imprevisibilidade deixada por X 1 , - faz de X 2 um supressorX2X1X2. Como resultado de seu efeito, a força preditiva de cresceu até certo ponto: b 1 é maior que b .X1b1b

Bem, por que o chamado de supressor do X 1 e como ele pode ser reforçado ao "suprimi-lo"? Veja a próxima foto.X2X1

insira a descrição da imagem aqui

É exatamente o mesmo que o anterior. Pense novamente no modelo com o único preditor . É claro que esse preditor pode ser decomposto em duas partes ou componentes (mostrados em cinza): a parte "responsável" pela previsão de Y (e, portanto, coincidindo com esse vetor) e a parte "responsável" pela imprevisibilidade (e paralelo a e ). Isto éX1Ye essa segunda parte de - a parte irrelevante para Y - é suprimida por X 2 quando esse supressor é adicionado ao modelo. A parte irrelevante é suprimida e, portanto, dado que o supressor não prediz YX1YX2Ymuito, a parte relevante parece mais forte. Um supressor não é um preditor, mas um facilitador para outro / outro preditor (es). Porque compete com o que os impede de prever.

Sinal do coeficiente de regressão do supressor

É o sinal da correlação entre o supressor e a variável de erro deixada pelo modelo reduzido (sem o supressor). Na representação acima, é positivo. Em outras configurações (por exemplo, reverta a direção de X 2 ), pode ser negativo.eX2

Supressão e alteração do sinal do coeficiente

A adição de uma variável que servirá a um supressor pode não alterar o sinal dos coeficientes de algumas outras variáveis. Os efeitos "supressão" e "sinal de mudança" não são a mesma coisa. Além disso, acredito que um supressor nunca pode mudar o sinal daqueles preditores a quem eles servem supressor. (Seria uma descoberta chocante adicionar o supressor de propósito para facilitar uma variável e depois descobrir que ela se tornou realmente mais forte, mas na direção oposta! Ficaria agradecido se alguém pudesse me mostrar que é possível.)

Supressão e diagrama de Venn

A situação regressiva normal é frequentemente explicada com a ajuda do diagrama de Venn.

insira a descrição da imagem aqui

A + B + C + D = 1, toda a variabilidade A área B + C + D é a variabilidade contabilizada pelos dois IV ( X 1 e X 2 ), o quadrado R; a área restante A é a variabilidade do erro. B + C = r 2 Y X 1 ; D + C = r 2 Y X 2 , correlações de ordem zero de Pearson. B e D são as correlações da parte quadrada (semipartial): B = r 2 ) ; D = rYX1X2rYX12rYX22rY(X1.X2)2 . B / (A + B)=r 2 Y X 1 . X 2rY(X2.X1)2rYX1.X22 e D / (A + D) = são as correlações parciais quadrados, que têm o mesmo significado básico como os coeficientes de regressão betas padronizados.rYX2.X12

De acordo com a definição acima (à qual me apego) de que um supressor é o IV com correlação parcial maior que correlação de ordem zero, é o supressor de seDárea>D + Cárea. Issonão podeser exibido no diagrama de Venn. (Isso implicaria queCdo ponto de vista X 2 não é "aqui" e não é a mesma entidade queCdo ponto de vista X 1 . É preciso inventar talvez algo como várias camadas diagrama de Venn para furtar-se a mostrá-lo.)X2X2X1


Dados de exemplo

         y         x1         x2

1.64454000  .35118800 1.06384500
1.78520400  .20000000 -1.2031500
-1.3635700 -.96106900 -.46651400
 .31454900  .80000000 1.17505400
 .31795500  .85859700 -.10061200
 .97009700 1.00000000 1.43890400
 .66438800  .29267000 1.20404800
-.87025200 -1.8901800 -.99385700
1.96219200 -.27535200 -.58754000
1.03638100 -.24644800 -.11083400
 .00741500 1.44742200 -.06923400
1.63435300  .46709500  .96537000
 .21981300  .34809500  .55326800
-.28577400  .16670800  .35862100
1.49875800 -1.1375700 -2.8797100
1.67153800  .39603400 -.81070800
1.46203600 1.40152200 -.05767700
-.56326600 -.74452200  .90471600
 .29787400 -.92970900  .56189800
-1.5489800 -.83829500 -1.2610800

Resultados da regressão linear:

insira a descrição da imagem aqui

Observe que X2 serviu como supressor. Sua correlação de ordem zero com é praticamente zero, mas sua correlação parcial é muito maior em magnitude, - .224 . Fortaleceu em certa medida a força preditiva de X 1Y-.224X1 (de r. , um beta em potencial na regressão simples com ele, para beta 0,538 na regressão múltipla)..419.538

De acordo com o formal definição , parecia um supressor, porque sua correlação parcial é maior que sua correlação de ordem zero. Mas isso é porque temos apenas dois IV no exemplo simples. Conceitualmente, X 1 não é um supressor porque seu rX1X1r com não é sobre 0 .Y0 0

A propósito, a soma das correlações da parte quadrada excedeu o quadrado R:, o .4750^2+(-.2241)^2 = .2758 > .2256que não ocorreria em situações regressivas normais (veja o diagrama de Venn acima).


PS Ao terminar minha resposta, encontrei essa resposta (por @gung) com um belo diagrama simples (esquemático), que parece estar de acordo com o que mostrei acima por vetores.

ttnphns
fonte
4
+6, isso é realmente ótimo e ajudará as pessoas a entender melhor esse tópico no futuro. Eu apontaria minha outra resposta (que eu concordo é consistente com a sua aqui); pode ser útil se as pessoas quiserem tentar visualizar essas coisas de uma perspectiva diferente.
gung - Restabelece Monica
1
Alguns pequenos pontos: 1 Com relação à sua afirmação de que o supressor não será correlacionado com Y, b / ce * está correlacionado com Y (veja aqui para mais informações), se X1 não estiver incluído no modelo, X2 deve ser correlacionado w / Y (se 'significativamente' depende de N, é claro). 2 Re se o sinal em x1 pode mudar (b * -> b1), se X1 estiver muito próximo de não correlacionado p / Y na ausência do supressor e com grandes SEs, o sinal em X1 no modelo reduzido poderá ser invertido apenas por acaso devido a erro de amostragem, mas isso deve ser incomum e mínimo.
gung - Restabelece Monica
@gung, obrigado. (1) Eu anseio por suas respostas (e de outras) que possam ajudar a melhorar / corrigir as minhas. Então venha, como tiver tempo, para postar pensamentos que você esboçou em seu comentário; (2) por favor, não faça essas coisas de "recompensa": não devo capitalizar; outros usuários, os "mais jovens" podem valer a pena.
ttnphns
Não acho que minha outra resposta seja "melhor" que a sua; de fato, acho que o seu é mais abrangente / geral. Eu acho que ele diz algumas coisas semelhantes de uma maneira um pouco diferente, por isso pode ser útil para alguns leitores lerem as duas coisas. Se você quiser, eu poderia juntar um pequeno post que explique meu comentário acima, mas não quero simplesmente copiar e colar minha outra resposta aqui, e não tenho nada a acrescentar a ela (ou à sua). Quanto à recompensa, isso servirá para atrair atenção / pontos de vista para este segmento, o que será bom, eu não poderia premiá-lo, mas isso parece bobagem.
gung - Restabelece Monica
Eu gosto bastante dessas formas geométricas de pensar sobre as coisas. Você se importa se eu perguntar como você desenhou seus enredos? Foi "por mouse" algo semelhante ao MS Paint, ou usando algum software mais sofisticado? Eu já desenhei coisas assim com o mouse antes e me perguntei se havia uma maneira mais fácil / mais eficiente.
Jake Westfall
18

Aqui está outra visão geométrica da supressão, mas, em vez de estar no espaço de observação, como é o exemplo de @ ttnphns, este está no espaço variável , o espaço onde vivem os gráficos de dispersão cotidianos.

y^Eu=xEu+zEuxzxzx^Eu=12zEuxzx^Eu=-12zEu

Podemos plotar nossa equação de regressão como um plano no espaço variável que se parece com isso:

avião

Caso confuso

xzyxxyxzzxzye .)xxx

xxxxx como vetores no plano de regressão:

confuso

xzz .

xzxxzxzxzxzx^Eu=12zEuxzyxΔx+Δz=1+12=1.5 .

zxz

x

Caso de supressão

zyxxyxzzxxzzxx

supressão

zxx^Eu=-12zEuxzyxΔx+Δz=1+-12=0,5z .

Conjuntos de dados ilustrativos

Caso você queira brincar com esses exemplos, aqui está um código R para gerar dados em conformidade com os valores de exemplo e executar as várias regressões.

library(MASS) # for mvrnorm()
set.seed(7310383)

# confounding case --------------------------------------------------------

mat <- rbind(c(5,1.5,1.5),
             c(1.5,1,.5),
             c(1.5,.5,1))
dat <- data.frame(mvrnorm(n=50, mu=numeric(3), empirical=T, Sigma=mat))
names(dat) <- c("y","x","z")

cor(dat)
#           y         x         z
# y 1.0000000 0.6708204 0.6708204
# x 0.6708204 1.0000000 0.5000000
# z 0.6708204 0.5000000 1.0000000

lm(y ~ x, data=dat)
# 
# Call:
#   lm(formula = y ~ x, data = dat)
# 
# Coefficients:
#   (Intercept)            x  
#     -1.57e-17     1.50e+00  

lm(y ~ x + z, data=dat)
# 
# Call:
#   lm(formula = y ~ x + z, data = dat)
# 
# Coefficients:
#   (Intercept)            x            z  
#      3.14e-17     1.00e+00     1.00e+00  
# @ttnphns comment: for x, zero-order r = .671 > part r = .387
#                   for z, zero-order r = .671 > part r = .387

lm(x ~ z, data=dat)
# 
# Call:
#   lm(formula = x ~ z, data = dat)
# 
# Coefficients:
#   (Intercept)            z  
#     6.973e-33    5.000e-01 

# suppression case --------------------------------------------------------

mat <- rbind(c(2,.5,.5),
             c(.5,1,-.5),
             c(.5,-.5,1))
dat <- data.frame(mvrnorm(n=50, mu=numeric(3), empirical=T, Sigma=mat))
names(dat) <- c("y","x","z")

cor(dat)
#           y          x          z
# y 1.0000000  0.3535534  0.3535534
# x 0.3535534  1.0000000 -0.5000000
# z 0.3535534 -0.5000000  1.0000000

lm(y ~ x, data=dat)
# 
# Call:
#   lm(formula = y ~ x, data = dat)
# 
# Coefficients:
#   (Intercept)            x  
#    -4.318e-17    5.000e-01  

lm(y ~ x + z, data=dat)
# 
# Call:
#   lm(formula = y ~ x + z, data = dat)
# 
# Coefficients:
#   (Intercept)            x            z  
#    -3.925e-17    1.000e+00    1.000e+00  
# @ttnphns comment: for x, zero-order r = .354 < part r = .612
#                   for z, zero-order r = .354 < part r = .612

lm(x ~ z, data=dat)
# 
# Call:
#   lm(formula = x ~ z, data = dat)
# 
# Coefficients:
#   (Intercept)            z  
#      1.57e-17    -5.00e-01  
Jake Westfall
fonte
Jake, posso pedir que você forneça sua resposta com dados reais? Forneça três valores de variáveis ​​para os dois casos que você considerar. Obrigado. (Quero dizer, não traçá-lo, basta dar-lhe)
ttnphns
xz
@ttnphns Ok, eu editei minha resposta. Diz-me o que pensas.
Jake Westfall
Por favor, sugira um número aleatório concreto no seu código. Quero reproduzir exatamente seus resultados aqui on-line: pbil.univ-lyon1.fr/Rweb (como não tenho R no meu computador - não sou usuário de R).
ttnphns
@ttnphns Você não precisa de uma semente para reproduzir os conjuntos de dados de exemplo. Qualquer conjunto de dados gerado usando o código acima sempre terá exatamente os coeficientes de correlação / regressão e variações mostrados acima, embora os valores de dados específicos possam variar (sem conseqüência). Para aqueles avessos à instalação / uso R, carreguei dois conjuntos de dados gerados usando o código acima que você pode baixar e analisar usando o pacote de estatísticas de sua escolha. Os links são: (1) psych.colorado.edu/~westfaja/confounding.csv (2) psych.colorado.edu/~westfaja/suppression.csv . Vou adicionar uma semente também, eu acho.
Jake Westfall
0

Aqui está como eu penso sobre o efeito supressor. Mas, por favor, deixe-me saber se estou errado.

Aqui está um exemplo de resultado binário (classificação, regressão logística). Podemos ver que não há diferença significativa em X1, não há diferença em X2, mas coloque X1 e X2 juntos (ou seja, x1 correto para x2 ou vice-versa) e as amostras podem ser classificadas quase perfeitamente e, portanto, as variáveis ​​agora são altamente significativas .

insira a descrição da imagem aqui

rep_ho
fonte
Você pode imprimir os dados correspondentes à sua imagem, na sua resposta?
ttnphns 29/01
Você pode dar vore pelos números?
fossekall 30/09