Dados dois modelos de regressão linear, qual modelo teria melhor desempenho?

Fiz um curso de aprendizado de máquina na minha faculdade. Em um dos testes, essa pergunta foi feita.

Modelo 1:

$$y = \theta x + \epsilon$$ Modelo 2: $$y = \theta x + \theta^2 x + \epsilon$$

Qual dos modelos acima encaixaria melhor nos dados? (suponha que os dados possam ser modelados usando regressão linear)

A resposta correta (de acordo com o professor) é que ambos os modelos teriam um desempenho igualmente bom. No entanto, acredito que o primeiro modelo seria um ajuste melhor.

Esta é a razão por trás da minha resposta. O segundo modelo, que pode ser reescrito como $\alpha x + \epsilon$ , $\alpha = \theta + \theta^2$ , não seria o mesmo que o primeiro modelo. $\alpha$ é de fato uma parábola e, portanto, possui um valor mínimo ( $-0.25$ neste caso). Agora, por causa disso, o intervalo de $\theta$ no primeiro modelo é maior que o intervalo de $\alpha$ no segundo modelo. Portanto, se os dados fossem de tal forma que o melhor ajuste tivesse uma inclinação menor que $-0.25$ , o segundo modelo apresentaria um desempenho muito ruim em comparação ao primeiro. No entanto, caso a inclinação do melhor ajuste seja maior que , ambos os modelos teriam um desempenho igualmente bom.$-0.25$

Então, o primeiro é melhor ou ambos são exatamente iguais?

O modelo 2 pode ser escrito como: Isso parece semelhante ao modelo 1, apenas com notação diferente para os hiperparâmetros ( θ , β ). No entanto, para o modelo 1, podemos escrever θ = (

$$y=(\theta + \theta^{2}) x+\epsilon=\beta x+\epsilon.$$ $\theta, \beta$
$$\hat{\theta}=(X^{'}X)^{-1}X^{'}y.$$

Mas desde que no modelo 2, temos que em seguida, como você mencionou, na verdade a gama de β deveria pertencer a [ - 0,25 , + ∞ ] para θ ∈ R . O que levará à diferença nesses 2 modelos.

$$\beta=\theta + \theta^{2},$$ $\hat{\beta}$$[-0.25,+\infty]$$\theta \in R$

Assim, no modelo 2 você está restringindo sua estimativa coeficiente ao contrário do modelo 1. Para tornar isso mais claro, deve-se notar que no modelo é obtido através minimizando a função de perda quadrado θ = arg min θ ∈ R ( y - X θ $\hat{\theta}$ No entanto no modelo de 2 a estimativa é obtido através β =arg min β ≥ - 0,25 (y-Xβ

$$\hat{\theta}=\arg\min_{\theta\in{R}} \ \ (y-X\theta)^{'}(y-X\theta)=(X^{'}X)^{-1}X^{'}y.$$ que pode levar a um resultado diferente. $$\hat{\beta}=\arg\min_{\beta\geq-0.25} \ \ (y-X\beta)^{'}(y-X\beta)$$

Não tenho certeza se entendi seu raciocínio. Se você pegar:

$$y = \alpha x+\epsilon$$ $$y = \theta x + \epsilon$$

$\alpha$$\theta$$\alpha$$\theta$$R^2$$\theta$$\alpha = \theta + \theta^2$