Se você não puder fazer isso ortogonalmente, faça-o bruto (regressão polinomial)

Ao realizar a regressão polinomial de $Y$ para $X$ , as pessoas às vezes usam polinômios brutos, às vezes polinômios ortogonais. Mas quando eles usam o que parece completamente arbitrário.

Aqui e aqui polinômios brutos são usados. Mas aqui e aqui , polinômios ortogonais parecem dar os resultados corretos. O que, como, por quê ?!

Em contraste com isso, ao aprender sobre regressão polinomial a partir de um livro didático (por exemplo, ISLR ), isso nem sequer menciona polinômios brutos ou ortogonais - apenas o modelo a ser ajustado é fornecido.

Então, quando precisamos usar o quê?
E por que os valores de p individuais para $X$ , $X^2$ etc. diferem muito entre esses dois valores?

$X$$X^2$$X^2$$X$

Vamos dar uma olhada com uma simulação muito simples.

> x <- runif(1e3)
> y <- x + rnorm(length(x))
> summary(lm(y~x))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.03486    0.06233  -0.559    0.576    
x            1.05843    0.10755   9.841   <2e-16 ***

Agora, com um termo quadrático no modelo para ajustar.

> summary(lm(y~x+I(x^2)))

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept)  0.03275    0.09528   0.344    0.731
x            0.65742    0.44068   1.492    0.136
I(x^2)       0.39914    0.42537   0.938    0.348

É claro que o teste geral ainda é significativo, mas acho que o resultado que estamos procurando não é esse. A solução é usar polinômios ortogonais.

 > summary(lm(y~poly(x,2)))

 Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.49744    0.03098  16.059   <2e-16 ***
poly(x, 2)1  9.63943    0.97954   9.841   <2e-16 ***
poly(x, 2)2  0.91916    0.97954   0.938    0.348    

Observe que os coeficientes de xno primeiro modelo e de poly(x,2)1no segundo modelo não são iguais e até as interceptações são diferentes. Isso ocorre porque polyfornece vetores ortogonais, que também são ortogonais ao vetor rep(1, length(x)). Então poly(x,2)1não é, xmas sim (x -mean(x))/sqrt(sum((x-mean(x))**2))...

$X$$X^2$

$X$$X^2$

Para fazer uma avaliação ingênua da situação:

$\{p_n\}_{n=1}^\infty$$\{\tilde{p}\}_{n=1}^\infty$$L_2([a,b])$

$L_2([a,b])$$y \in L_2([a,b])$$\theta_n$$\tilde{\theta}_n \in \mathbb{R}$$n=1,2,\dots$$L_2$

$k<\infty$

$\{\tilde{p}\}_{n=1}^\infty$$\{p_n\}_{n=1}^\infty$$y$$\{p\}_{n=1}^k$$k$$L_2([a,b])$

$p$

Portanto, em termos de previsão, não há (neste caso) nenhuma diferença.

Do ponto de vista computacional, uma matriz modelo que consiste em funções de base ortogonal possui boas propriedades numéricas / computacionais para o estimador de mínimos quadrados. Embora, ao mesmo tempo, do ponto de vista estatístico, a ortogonalização resulte em estimativas não correlacionadas, uma vez que sob as premissas padrão.$var(\hat{\tilde{\theta}}) = I \sigma²$

A questão natural surge se existe um melhor sistema de base truncada. No entanto, a resposta à pergunta não é simples nem única e depende, por exemplo, da definição da palavra "melhor", ou seja, o que você está tentando arquivar.