A correlação entre variáveis ​​em uma interação é importante?

Suponha que você ajuste um modelo . Existem implicações práticas para a estimativa do efeito da interação se e estiverem correlacionados?$y = x_1 + x_2 + x_1\times x_2$$x_1$$x_2$

Entendo que poderia haver problemas de colinearidade se e estiverem muito correlacionados, mas isso não deve afetar o termo de interação, certo?$x_1$$x_2$

Há uma razão para o consultor estatístico não poder explicar por que a introdução de uma interação em um modelo linear pode afetar adversamente a estrutura de correlação: depende das circunstâncias e geralmente não é verdade que exista um efeito adverso. Basta olhar para os conjuntos de dados mostrados nas matrizes de dispersão abaixo para ver todas as diferentes maneiras pelas quais duas variáveis ​​podem estar relacionadas a seus produtos.

O restante deste post explica como esses números foram produzidos e pode fornecer mais informações sobre a situação.

---

Primeiro, vamos esclarecer o óbvio: escrevendo você tem uma regressão múltipla envolvendo as três variáveis A existência ou não de problemas de colinearidade depende das relações lineares entre os Isso é universal.$x_3=x_1x_2,$$x_1, x_2, x_3.$$x_i.$

O que há de especial nesse problema é o relacionamento entre e o outroou seja, que Assim, se alguém o aconselhou a tomar cuidado, deve ser devido à expectativa de que esse relacionamento multiplicativo matematicamente implique algum tipo de multicolinearidade entre todos os$x_3$$x_i;$$x_3 = x_1x_2.$$x_i.$

Isso simplesmente não é assim, como pode ser demonstrado pela exibição de todos os padrões possíveis. Não quero esgotar você com o pedantismo de passar por todas as possibilidades, então deixe-me esboçar algumas das mais ilustrativas. A ferramenta básica que utilizarei neste estudo é a observação de que a correlação entre quaisquer variáveis permanece inalterada quando o sofre transformações lineares separadamente. $x_1, x_2$$x_i$ Ou seja, podemos multiplicar livremente qualquer variável por constantes e adicionar outras constantes aos resultados sem alterar a correlação. No entanto, essas operações podem alterar profundamente as correlações entre e$x_1x_2$$x_i.$

Produto (quase) constante

É possível que seja constante (o que, quando uma regressão inclui uma constante, será problemático). Para criar um exemplo, simplesmente gere valores diferentes de zero para e defina Seu produto é igual a por construção.$x_1x_2$$x_1$$x_2 = c/x_1.$$c$

Você pode perturbar este exemplo, alterando em uma variável aleatória com valores próximos a Isso introduzirá uma pequena correlação entre o e seu produto, mas não muita. Aqui, por exemplo, é um exemplo em que é extraído de uma distribuição Gamma tem uma distribuição Normal com média e desvio padrão de apenas$c\ne 0$$c.$$x_i$$x_1$$(5)$$c$$1$$1/100:$

Embora o tenha uma correlação de neste exemplo, suas correlações com são apenas e 0,00.$x_i$$\rho_{1\cdot 2}=-0.87$$x_1x_2$$-0.06$$0.00.$

Portanto, embora possa haver um pequeno problema ao usar $x_1$ e $x_2$ em um modelo linear, incluindo $x_1x_2$ é improvável que exacerbá-lo.

Produto não constante

Para fazer os cálculos mais clara, que poderia muito bem assumir o $x_i$ têm variância unidade. Deixe que a variância de $x_1x_2$ ser $\tau^2$ e gravação $\rho_{12\cdot i}$ para as correlações entre $x_1x_2$ e $x_i.$ Vamos calcular o que acontece com essas correlações quando as constantes $c_i$ são subtraídas do $x_i.$Porque o $x_i$ desempenham papéis perfeitamente simétricos (apenas trocar " $1$ " para " $2$"nos índices), basta calcular a correlação com $x_1:$

$$\eqalign{ \operatorname{Cor}((x_1-c_1)(x_2-c_2), x_1) &= \frac{\operatorname{Cov} ((x_1-c_1)(x_2-c_2), x_1)}{\sqrt{\operatorname{Var}{(x_1-c_1)(x_2-c_2)}\operatorname{Var}{x_1}}} \\ &= \frac{\operatorname{Cov} (x_1x_2 - c_2x_1 - c_1x_2+c_1c_2, x_1)}{\sqrt{\operatorname{Var}(x_1x_2 - c_1x_2 - c_2x_1 + c_1c_2)}} \\ &= \frac{\tau\rho_{12\cdot 1}-c_2-c_1\rho_{1\cdot 2}}{\sqrt{\tau^2 - c_1\rho_{1\cdot 2} - c_2 - 2c_1\rho_{12\cdot 2} - 2c_2\rho_{12\cdot 1} + 2c_1c_2\rho_{1\cdot 2}}}.\tag{*} }$$

Zero correlação com o produto

Independentemente de qual seja a correlação entre $x_i$ , podemos escolher $(c_1,c_2)$ para tornar o produto sem correlação com $x_i.$

A partir da análise anterior, isso será alcançado quando o numerador de $(*)$ for zero para $i=1,2:$

$$\left\{\matrix{0 = \tau\rho_{12\cdot 1} -c_2 - c_1\rho_{1\cdot 2} \\ 0 = \tau\rho_{12\cdot 2} -c_1 - c_2\rho_{1\cdot 2}}\right.$$

Quando $\rho_{1\cdot 2}^2 \ne 1,$ esse sistema de equações em $(c_1,c_2)$ tem uma solução única. Aqui, por exemplo, é uma matriz de dispersão de um conjunto de dados de $100$ valores nos quais o $(x_i)$ tem uma distribuição normal bivariada com correlação $\rho_{1\cdot 2}=-0.99$ mas o $x_i$ tem correlação zero com $x_1x_2$ :

$x_1x_2$$x_i,$ introduzi-lo em qualquer modelo linear não criará nenhum problema.

$x_i$ se você centralizar suas variáveis ​​antes de criar uma interação, normalmente não terá problemas com colinearidade adicional.

Fortes correlações com o produto

$(*)$$x_i$$x_i,$

$x_2$$1 + x_2 / 100$$x_1x_2$$x_1,$$x_1x_2.$$\rho_{12\cdot 1} = 0.999878$$\rho_{12\cdot 2} = -0.9898793$