Por que a regressão polinomial é considerada um caso especial de regressão linear múltipla?

38

Se a regressão polinomial modela relações não lineares, como pode ser considerado um caso especial de regressão linear múltipla?

A Wikipedia observa que "Embora a regressão polinomial ajuste um modelo não linear aos dados, como um problema de estimativa estatística é linear, no sentido de que a função de regressão é linear nos parâmetros desconhecidos estimados. dos dados ".E(y|x)

Como a regressão polinomial é linear nos parâmetros desconhecidos se os parâmetros são coeficientes para termos com a ordem 2?

gavinmh
fonte
4
Os parâmetros a serem estimados são (multi) lineares. Se você estivesse estimando os valores dos expoentes, o problema de estimativa não seria linear; mas quadratura um preditor correções que expoente precisamente 2.
Sycorax diz Reintegrar Monica
Meu entendimento é que o comentário do @ user777, bem como as respostas abaixo, se aplicam não apenas à regressão polinomial, mas também a qualquer regressão que use uma bijeção das variáveis ​​preditivas. por exemplo, qualquer função reversível, como , , etc. (além de outras funções, obviamente, uma vez que a segunda potência não é bijetiva). log(x)ex
precisa saber é o seguinte
Obrigado a todos; todas as respostas e comentários foram úteis.
Gavinmh

Respostas:

53

Quando você ajusta um modelo de regressão como , o modelo e o estimador OLS não 'sabem' que é simplesmente o quadrado de , apenas 'pensa' que é outra variável. É claro que há alguma colinearidade, que é incorporada ao ajuste (por exemplo, os erros padrão são maiores do que poderiam ser), mas muitos pares de variáveis ​​podem ser um pouco colineares, sem que uma seja função da outra. x 2 i xiy^Eu=β^0 0+β^1xEu+β^2xEu2xEu2xEu

Nós não reconhecemos que há realmente duas variáveis independentes no modelo, porque nós sabemos que é em última análise, a mesma variável como que transformou e incluiu a fim de capturar uma relação curvilínea entre e . Esse conhecimento da verdadeira natureza de , juntamente com a nossa crença de que existe uma relação curvilínea entre e é o que dificulta a compreensão de como ainda é linear da perspectiva do modelo. Além disso, visualizamos e x i x i y i x 2 i x i y i x i x 2 i x , yxEu2xEuxEuyEuxEu2xEuyEuxEuxEu2juntos, olhando para a projeção marginal da função 3D no plano 2D . x,y

Se você tiver apenas e , tente visualizá-los em todo o espaço 3D (embora ainda seja bastante difícil realmente ver o que está acontecendo). Se você visse a função ajustada no espaço 3D completo, veria que a função ajustada é um plano 2D e, além disso, é um plano. Como eu disse, é difícil ver bem, porque os dados existem apenas ao longo de uma linha curva que atravessa o espaço 3D (esse fato é a manifestação visual de sua colinearidade). Podemos tentar fazer isso aqui. Imagine que este é o modelo ajustado: x 2 i x i , x 2 ixEuxEu2xEu,xEu2

x     = seq(from=0, to=10, by=.5)
x2    = x**2
y     = 3 + x - .05*x2
d.mat = data.frame(X1=x, X2=x2, Y=y)

# 2D plot
plot(x, y, pch=1, ylim=c(0,11), col="red", 
     main="Marginal projection onto the 2D X,Y plane")
lines(x, y, col="lightblue")

insira a descrição da imagem aqui

# 3D plot
library(scatterplot3d)
s = scatterplot3d(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, color="gray", pch=1, 
              xlab="X1", ylab="X2", zlab="Y", xlim=c(0, 11), ylim=c(0,101), 
              zlim=c(0, 11), type="h", main="In pseudo-3D space")
s$points(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, col="red", pch=1)
s$plane3d(Intercept=3, x.coef=1, y.coef=-.05, col="lightblue")

insira a descrição da imagem aqui

Pode ser mais fácil ver nessas imagens, que são capturas de tela de uma figura 3D girada feita com os mesmos dados usando o rglpacote.

insira a descrição da imagem aqui

Quando dizemos que um modelo "linear nos parâmetros" é realmente linear, isso não é apenas um sofisma matemático. Com variáveis, você está ajustando um hyperplane dimensional em uma hiperespaço dimensional (no nosso exemplo um plano 2D em um espaço 3D). Esse hiperplano é realmente 'plano' / 'linear'; não é apenas uma metáfora. p pppp+1

- Reinstate Monica
fonte
17

y=uma+bx+cx2xumabcy=Eu=0 0NumaEuhEu(x)hEuxhEux

Abelha rainha
fonte
14

yEu=b0 0+b1xEun1++bpxEunp+ϵEu.

y=Xb+ϵ;X=(1x1n1x1np1x2n1x2np1xnn1xnnp).
mookid
fonte