Se a regressão polinomial modela relações não lineares, como pode ser considerado um caso especial de regressão linear múltipla?
A Wikipedia observa que "Embora a regressão polinomial ajuste um modelo não linear aos dados, como um problema de estimativa estatística é linear, no sentido de que a função de regressão é linear nos parâmetros desconhecidos estimados. dos dados ".
Como a regressão polinomial é linear nos parâmetros desconhecidos se os parâmetros são coeficientes para termos com a ordem 2?
Respostas:
Quando você ajusta um modelo de regressão como , o modelo e o estimador OLS não 'sabem' que é simplesmente o quadrado de , apenas 'pensa' que é outra variável. É claro que há alguma colinearidade, que é incorporada ao ajuste (por exemplo, os erros padrão são maiores do que poderiam ser), mas muitos pares de variáveis podem ser um pouco colineares, sem que uma seja função da outra. x 2 i xiy^Eu= β^0 0+ β^1xEu+ β^2x2Eu x2Eu xEu
Nós não reconhecemos que há realmente duas variáveis independentes no modelo, porque nós sabemos que é em última análise, a mesma variável como que transformou e incluiu a fim de capturar uma relação curvilínea entre e . Esse conhecimento da verdadeira natureza de , juntamente com a nossa crença de que existe uma relação curvilínea entre e é o que dificulta a compreensão de como ainda é linear da perspectiva do modelo. Além disso, visualizamos e x i x i y i x 2 i x i y i x i x 2 i x , yx2Eu xEu xEu yEu x2Eu xEu yEu xEu x2Eu juntos, olhando para a projeção marginal da função 3D no plano 2D . x , y
Se você tiver apenas e , tente visualizá-los em todo o espaço 3D (embora ainda seja bastante difícil realmente ver o que está acontecendo). Se você visse a função ajustada no espaço 3D completo, veria que a função ajustada é um plano 2D e, além disso, é um plano. Como eu disse, é difícil ver bem, porque os dados existem apenas ao longo de uma linha curva que atravessa o espaço 3D (esse fato é a manifestação visual de sua colinearidade). Podemos tentar fazer isso aqui. Imagine que este é o modelo ajustado: x 2 i x i , x 2 ixEu x2Eu xEu, x2Eu
Pode ser mais fácil ver nessas imagens, que são capturas de tela de uma figura 3D girada feita com os mesmos dados usando o
rgl
pacote.Quando dizemos que um modelo "linear nos parâmetros" é realmente linear, isso não é apenas um sofisma matemático. Com variáveis, você está ajustando um hyperplane dimensional em uma hiperespaço dimensional (no nosso exemplo um plano 2D em um espaço 3D). Esse hiperplano é realmente 'plano' / 'linear'; não é apenas uma metáfora. p pp p p+1
fonte
fonte
fonte