O que torna a regressão linear com recursos polinomiais curvos?

A seguir, entendo o que acontece: se eu pegar um "problema bidimensional", por exemplo, eu tenho $X$ como entradas e Y como o resultado e eu adiciono um recurso $x^2$ . Isso dá ao problema uma dimensão adicional e o ajuste linear no $x$ e $y$ Os valores definem uma linha, bem como o ajuste linear no $x^2$ e $y$ valores e as duas linhas definem um plano que é o melhor ajuste. Isso está correto? Como isso se traduz de volta ao espaço bidimensional? De alguma forma, isso aparece em duas dimensões como curvas? Quão?

regression polynomial user412953
fonte

x^{2}

$x^2$ não é uma dimensão adicional porque é determinada por

x

$x$ . as dimensões devem ser independentes até certo ponto, pelo menos

Aksakal

@Aksakal No entanto, no sentido das dimensões do espaço da coluna da matriz do modelo,

x^{2}

$x^2$ geralmente introduz uma dimensão adicional. Essa parece ser uma maneira natural e útil de entender essa questão.

whuber

Se estamos pensando em termos da matriz de design

X

$X$ que tem observações como linhas e variáveis como colunas, então

x^{2}

$x^2$ possui sua própria coluna e, nesse sentido, adiciona uma dimensão. por exemplo, uma matriz de covariância

p \times p

$p\times p$ será mais uma dimensão. além disso, em muitos casos, o matix ainda mantém sua posição

p

$p$ apesar de

x^{2}

$x^2$ sendo dependente

x

$x$ , porque não é linearmente dependente. é por isso que a regressão polinomial geralmente funciona. no entanto, às vezes pode falhar devido a colinearidade ou condição.

Aksakal

Eu sugeriria o uso de polinômios ortogonais. eles estão livres de problemas de dependência de polinômios simples

Aksakal

O uso de polinômios ortogonais em vez de mais simples não altera o resultado - ou seja, o ajuste estimado é o mesmo -, embora os polinômios ortogonais tenham algumas vantagens práticas. Isso não é diferente da maioria dos problemas de regressão multivariada, onde os preditores são correlacionados.

Pere

Respostas:

Este é um pedaço de um avião em 3D.

Aqui está o mesmo plano com as coordenadas mostradas e um conjunto de pontos selecionados ao longo de sua $x$ eixo.

A terceira coordenada é usada para plotar os quadrados dessas $x$ valores, produzindo pontos ao longo de uma parábola na base da caixa de coordenadas.

Uma "cortina" vertical através da parábola cruza o avião em todos os pontos diretamente acima da parábola. Essa interseção é uma curva.

Um modelo polinomial supõe a resposta $y$ (representado na direção vertical) difere da altura deste plano em quantidades aleatórias. Os valores de $y$ correspondente a estes $x$ as coordenadas são mostradas como pontos vermelhos.

Consequentemente, o $(x,y)$ os pontos estão ao longo de uma curva - essa projeção - em vez de uma linha, mesmo que o modelo da resposta seja baseado no plano mostrado originalmente.

Moral

Quando as variáveis explicativas estão claramente em uma curva, as respostas também parecem estar em uma curva.

whuber
fonte

Muito obrigado, isso foi muito útil.

user412953

Se você tiver uma única variável independente x e uma única variável dependente y, "y = f (x)" será normalmente considerado bidimensional, mesmo que a relação entre essas duas variáveis seja complicada. Como exemplo hipotético, se um modelo experimental é "pressão = a * temperatura + b * log (temperatura) - c * seno (temperatura)", existem apenas duas variáveis: temperatura e pressão. Por esse motivo, esse relacionamento pode ser plotado como uma linha curva em um plano.

Se o modelo tiver duas variáveis independentes, como "pressão = a * log (temperatura) - b * exp (altitude)", ele terá a forma de "z = f (x, y)" e poderá ser plotado como um 3D superfície.

James Phillips
fonte