A ordem variável importa na regressão linear

Estou investigando a interação entre duas variáveis ​​( e ). Existe uma grande correlação linear entre essas variáveis ​​com . Pela natureza do problema, não posso dizer nada sobre a causa (se causa ou o contrário). Eu gostaria de estudar os desvios da linha de regressão, a fim de detectar valores extremos. Para fazer isso, eu posso construir uma regressão linear de como uma função de ou o contrário. Minha escolha de ordem variável pode influenciar meus resultados?$x_1$$x_2$$r>0.9$$x_1$$x_2$$x_1$$x_2$

Certamente pode (na verdade, até importa em relação às suposições em seus dados - você apenas faz suposições sobre a distribuição do resultado, dada a covariável). Nessa perspectiva, você pode procurar um termo como "variação de previsão inversa". De qualquer maneira, a regressão linear não diz nada sobre causalidade! Na melhor das hipóteses, você pode dizer algo sobre causalidade através de um design cuidadoso.

Para tornar o caso simétrico, pode-se regredir a diferença entre as duas variáveis ​​( ) versus seu valor médio.$\Delta x$

A regressão padrão minimiza a distância vertical entre os pontos e a linha, portanto, alternar as 2 variáveis ​​agora minimiza a distância horizontal (dado o mesmo gráfico de dispersão). Outra opção (que tem vários nomes) é minimizar a distância perpendicular, isso pode ser feito usando componentes principais.

Aqui está um código R que mostra as diferenças:

library(MASS)

tmp <- mvrnorm(100, c(0,0), rbind( c(1,.9),c(.9,1)) )

plot(tmp, asp=1)

fit1 <- lm(tmp[,1] ~ tmp[,2])  # horizontal residuals
segments( tmp[,1], tmp[,2], fitted(fit1),tmp[,2], col='blue' )
o <- order(tmp[,2])
lines( fitted(fit1)[o], tmp[o,2], col='blue' )

fit2 <- lm(tmp[,2] ~ tmp[,1])  # vertical residuals
segments( tmp[,1], tmp[,2], tmp[,1], fitted(fit2), col='green' )
o <- order(tmp[,1])
lines( tmp[o,1], fitted(fit2)[o], col='green' )

fit3 <- prcomp(tmp)
b <- -fit3$rotation[1,2]/fit3$rotation[2,2]
a <- fit3$center[2] - b*fit3$center[1]
abline(a,b, col='red')
segments(tmp[,1], tmp[,2], tmp[,1]-fit3$x[,2]*fit3$rotation[1,2], tmp[,2]-fit3$x[,2]*fit3$rotation[2,2], col='red')

legend('bottomright', legend=c('Horizontal','Vertical','Perpendicular'), lty=1, col=c('blue','green','red'))

Para procurar outliers, basta plotar os resultados da análise de componentes principais.

Você também pode querer olhar para:

Bland e Altman (1986), Métodos estatísticos para avaliar a concordância entre dois métodos de medição clínica. Lancet, pp 307-310

Suas variáveis ​​x1 e x2 são colineares. Na presença de multicolinearidade, suas estimativas de parâmetros ainda são imparciais, mas sua variação é grande, ou seja, sua inferência sobre a significância das estimativas de parâmetros não é válida e sua previsão terá grandes intervalos de confiança.

A interpretação das estimativas de parâmetros também é difícil. Na estrutura de regressão linear, a estimativa de parâmetro em x1 é a mudança em Y para uma mudança de unidade em x1, dado que todas as outras variáveis ​​exógenas no modelo são mantidas constantes. No seu caso, x1 e x2 são altamente correlacionados e você não pode manter x2 constante quando x1 está sendo alterado.