Como encontrar os coeficientes de regressão

Na regressão de crista, a função objetivo a ser minimizada é:

$$\text{RSS}+\lambda \sum\beta_j^2.$$

Isso pode ser otimizado usando o método multiplicador de Lagrange? Ou é uma diferenciação direta?

Existem duas formulações para o problema da crista. O primeiro é

$$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)$$

sujeito a

$$\sum_{j} \beta_j^2 \leq s.$$

Esta formulação mostra a restrição de tamanho nos coeficientes de regressão. Observe o que essa restrição implica; estamos forçando os coeficientes a mentir em uma bola ao redor da origem com raio .$\sqrt{s}$

A segunda formulação é exatamente o seu problema

$$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right) + \lambda \sum\beta_j^2$$

que pode ser visto como a formulação multiplicadora de Largrange. Observe que aqui é um parâmetro de ajuste e valores maiores dele levarão a um encolhimento maior. Você pode prosseguir para diferenciar a expressão em relação a β e obter o conhecido estimador de crista$\lambda$$\boldsymbol{\beta}$

$$\boldsymbol{\beta}_{R} = \left( \mathbf{X}^{\prime} \mathbf{X} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} \tag{1}$$

As duas formulações são completamente equivalentes , uma vez que existe um correspondência de um-para-um entre e λ .$s$$\lambda$

Deixe-me elaborar um pouco sobre isso. Imagine que você está no caso ideal ortogonal, . Esta é uma situação altamente simplificada e irrealista, mas podemos investigar o estimador um pouco mais de perto, então tenha paciência comigo. Considere o que acontece com a equação (1). O estimador de crista reduz para$\mathbf{X}^{\prime} \mathbf{X} = \mathbf{I}$

$$\boldsymbol{\beta}_R = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \boldsymbol{\beta}_{OLS}$$

como no caso ortogonal, o estimador OLS é dado por . Olhando para este componente agora obtemos$\boldsymbol{\beta}_{OLS} = \mathbf{X}^{\prime} \mathbf{y}$

$$\beta_R = \frac{\beta_{OLS}}{1+\lambda} \tag{2}$$

Observe então que agora o encolhimento é constante para todos os coeficientes. Isto pode não segurar no caso geral e de fato ele pode ser mostrado que as contrações vão diferir muito se houver degenerescências no matriz.$\mathbf{X}^{\prime} \mathbf{X}$

Mas vamos voltar ao problema de otimização restrita. Pela teoria KKT , uma condição necessária para otimizar é

$$\lambda \left( \sum \beta_{R,j} ^2 -s \right) = 0$$

então ou ∑ β 2 R , j - s = 0 (neste caso, dizemos que a restrição é vinculativa). Se λ = 0 , não há penalidade e estamos de volta à situação normal do OLS. Suponha então que a restrição seja vinculativa e que estamos na segunda situação. Usando a fórmula em (2), temos então$\lambda = 0$$\sum \beta_{R,j} ^2 -s = 0$$\lambda = 0$

$$s = \sum \beta_{R,j}^2 = \frac{1}{\left(1 + \lambda \right)^2} \sum \beta_{OLS,j}^2$$

de onde obtemos

$$\lambda = \sqrt{\frac{\sum \beta_{OLS,j} ^2}{s}} - 1$$

o relacionamento um a um reivindicado anteriormente. Espero que isso seja mais difícil de estabelecer no caso não ortogonal, mas o resultado é independente.

Olhe novamente para (2) e você verá que ainda estamos perdendo o . Para obter um valor ideal para isso, você pode usar a validação cruzada ou observar o rastreamento da crista. O último método envolve a construção de uma sequência de λ em (0,1) e a análise de como as estimativas mudam. Você então seleciona o λ que os estabiliza. A propósito, este método foi sugerido na segunda das referências abaixo e é o mais antigo.$\lambda$$\lambda$$\lambda$

Referências

Hoerl, Arthur E. e Robert W. Kennard. "Regressão de Ridge: estimativa enviesada para problemas não-ortogonais." Technometrics 12.1 (1970): 55-67.

Hoerl, Arthur E. e Robert W. Kennard. "Regressão de Ridge: aplicações a problemas não-ortogonais." Technometrics 12.1 (1970): 69-82.

Meu livro Regression Modeling Strategies investiga o uso de AIC eficaz para escolher$\lambda$. This comes from the penalized log likelihood and the effective degrees of freedom, the latter being a function of how much variances of $\hat{\beta}$são reduzidos por penalização. Uma apresentação sobre isso está aqui . O rmspacote R pentraceencontra$\lambda$ que otimiza a AIC efetiva e também permite vários parâmetros de penalidade (por exemplo, um para efeitos principais lineares, um para efeitos principais não lineares, um para efeitos de interação linear e outro para efeitos de interação não linear).

I don't do it analytically, but rather numerically. I usually plot RMSE vs. λ as such:

Figure 1. RMSE and the constant λ or alpha.