O que significa "linear em parâmetros"?

O modelo de regressão linear é linear em parâmetros.

O que isso realmente significa?

Considere uma equação da forma

$y = \beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$

onde 's são as variáveis ​​e β ' s são os parâmetros. Aqui, y é uma função linear de β 's (linear em parâmetros) e também uma função linear de x ' s (linear em variáveis). Se você alterar a equação para$x$$\beta$$\beta$$x$

$y = \beta_0 + \beta_1x_1 + \beta_2x_1^2 + \epsilon$

Então, não é mais linear em variáveis ​​(por causa do termo ao quadrado), mas ainda é linear em parâmetros. E para regressão (múltipla) linear, isso é tudo o que importa, porque no final, você está tentando encontrar um conjunto de 's que minimiza uma função de perda. Para isso, você precisa resolver um sistema de equações lineares . Dadas suas boas propriedades, possui uma solução de formulário fechado que facilita nossas vidas. As coisas ficam mais difíceis quando você lida com equações não lineares.$\beta$

Suponha que você não está lidando com um modelo de regressão, mas em vez disso você tem um problema de programação matemática: Você está tentando minimizar uma função objetivo do formulário sujeito a um conjunto de restrições: A x ≥ b e x ≥ 0 . Este é um problema de programação linear no sentido de que é linear em variáveis. Diferentemente do modelo de regressão, você está tentando encontrar um conjunto de x (variáveis) que satisfaça as restrições e minimize a função objetivo. Isso também exigirá que você resolva sistemas de equações lineares, mas aqui será linear em variáveis. Seus parâmetros não terão nenhum efeito nesse sistema de equações lineares.$c^Tx$$Ax \geq b$$x\geq0$$x$

$Y = A X$$A$$X$$X = [\alpha\; \alpha \beta\; \beta^2]^T$$Y$$X$

Um modelo é linear quando cada termo é uma constante ou o produto de um parâmetro e um preditor. Uma equação linear é construída adicionando os resultados para cada termo. Isso restringe a equação a apenas uma forma básica:

$Response = constant + parameter * predictor + ... + parameter * predictor$

"Linear em parâmetros" em Regressão Linear significa que nenhum parâmetro aparece como expoente, nem multiplicado ou dividido por outro parâmetro.