Normas Ridge & LASSO

Esta publicação segue esta: Por que a estimativa da crista se torna melhor que a OLS adicionando uma constante à diagonal?

Aqui está a minha pergunta:

Até onde eu sei, a regularização de cume usa uma -norm (distância euclidiana). Mas por que usamos o quadrado dessa norma? (uma aplicação direta de resultaria na raiz quadrada da soma do beta ao quadrado).ℓ $\ell_2$$\ell_2$

Como comparação, não fazemos isso para o LASSO, que usa um -norm para regularizar. Mas aqui está a norma "real" (apenas a soma do quadrado dos valores absolutos beta, e não o quadrado dessa soma).ℓ $\ell_1$$\ell_1$

Alguém pode me ajudar a esclarecer?

Ridge e laço são duas maneiras de regularizar e uma regressão. A regressão do laço impõe uma restrição à soma dos coeficientes absolutos:

$\sum_i \sqrt{\beta_i^2} = ||\beta||_1$

A regressão de Ridge impõe uma restrição da soma das diferenças ao quadrado:

$\sum_i \beta_i^2 = \sqrt{\sum_i \beta_i^2}^2 = ||\beta_i||_2^2$

Você sugeriu introduzir ainda outra norma, o comprimento euclidiano dos coeficientes:

$\sqrt{\sum_i \beta_i^2} = ||\beta_i||_2$

A diferença entre a regressão de Ridge e o comprimento euclidiano é a quadratura. Isso muda a interpretação da regularização. Enquanto a crista e o comprimento euclidiano se regularizam para zero, a regressão da crista também difere a quantidade de regularização. Coeficientes que estão mais longe de zero puxam mais forte para zero. Isso o torna mais estável em torno de zero, porque a regularização muda gradualmente em torno de zero. Este não é o caso do comprimento euclidiano ou, de fato, da regressão do laço.

Atualmente, existem muitas abordagens penalizadas que têm todos os tipos de funções diferentes de penalidade (cume, laço, MCP, SCAD). A questão de por que uma de uma forma específica é basicamente "que vantagens / desvantagens essa penalidade proporciona?".

Propriedades de interesse podem ser:

1) estimadores quase imparciais (observe que todos os estimadores penalizados serão tendenciosos)

2) Escassez (a regressão da cumeeira não produz resultados esparsos, isto é, não reduz os coeficientes até zero)

3) Continuidade (para evitar instabilidade na previsão do modelo)

Estas são apenas algumas propriedades que podem estar interessadas em uma função de penalidade.

É muito mais fácil trabalhar com uma soma em derivações e trabalho teórico: por exemplo e | | beta | | 1 = ∑ | β i | . Imagine se tivéssemos $||\beta||_2^2=\sum |\beta_i|^2$$||\beta||_1 = \sum |\beta_i|$ ou(∑|βi|)2. Tomar derivativos (que é necessário para mostrar resultados teóricos como consistência, normalidade assintótica etc.) seria uma dor com penalidades como essa.$\sqrt{\left(\sum |\beta_i|^2\right)}$$\left( \sum |\beta_i|\right)^2$

Na verdade, tanto o quadrado da -norm eo ℓ 1 -norm vêm de uma mesma classe de regularização: ‖ β ‖ p p quando p > 0 .$\ell_2$$\ell_1$$\|\boldsymbol{\beta}\|_p^p$$p > 0$

$p=2$$p=1$$p$

$p \leq 1$$p$

$p \leq 1$$p<1$

$l_2$

$$\|\mathbf{y - X\beta}\|^2_2+\lambda\|\beta\|_2^2$$

$$\|\mathbf{y - X\beta}\|^2_2+\lambda\beta^T\beta$$

$\beta$

$$\hat\beta^{\text{ridge}} = (\mathbf{X}^T\mathbf{X} + \lambda I)^{-1}\mathbf{X}^T\mathbf{y}$$

a partir do qual todo tipo de inferência pode ser derivado.

$\ell_2$$\ell_2$$\ell_2$$x$$||x||_2$$x$$\frac{x}{ ||x||_2}$$\ell_2$$\beta=0$$\ell_2$

$\ell_2$$\ell_2$