Na regressão linear, por que a regularização também penaliza os valores dos parâmetros?

9

Atualmente aprendendo regressão de cordilheira e fiquei um pouco confuso sobre a penalização de modelos mais complexos (ou a definição de um modelo mais complexo).

Pelo que entendi, a complexidade do modelo não se correlaciona necessariamente com a ordem polinomial. Portanto:

2+3+4x2+5x3+6x4
é um modelo mais complexo que:
5x5

E eu sei que o ponto de regularização é manter a complexidade do modelo baixa, por exemplo, temos um polinômio de 5ª ordem

f(x;w)=w0+w1x+w2x2+w3x3+w4x4+w5x5

Quanto mais parâmetros forem 0, melhor.

Mas o que não entendo é que, se fosse o mesmo polinômio de ordem, por que valores mais baixos de parâmetros são menos penalizados? Então, por que:

2+5x+x3
é um modelo menos complexo que

433+342x+323x3

Obrigado!

Physco111
fonte

Respostas:

10

os valores dos parâmetros dependem simplesmente dos dados

Esta é a parte principal da sua pergunta. É aqui que você está confuso.

Sim, os valores dos parâmetros dependem dos dados. Mas os dados são fixos quando ajustamos um modelo. Em outras palavras, ajustamos um modelo condicional às observações . Não faz sentido comparar a complexidade de diferentes modelos que foram ajustados a diferentes conjuntos de dados .

E no contexto de um conjunto de dados fixo, um modelo

2+5x+x3

está de fato mais próximo do modelo mais simples possível, a saber, o modelo de zero plano,

433+342x+323x3,

e isso vale independentemente da escala de suas observações.

24332433

Stephan Kolassa
fonte
11
Os coeficientes de menor magnitude estão mais distantes do zero plano que os coeficientes mais altos? Isso é um erro de digitação ou estou entendendo mal por que um modelo mais distante da constante não é penalizado tanto quanto um modelo mais próximo da constante?
RM
Desculpe, isso foi realmente um erro de digitação. Deixe-me editar. Obrigado por apontar isso!
Stephan Kolassa