Interpretação da regularização de crista em regressão

25

Tenho várias perguntas sobre a penalidade de cordilheira no contexto de mínimos quadrados:

β_{r i d g e} = (λ I_{D} + X^{'} X)^{- 1} X^{'} y

$\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y$

1) A expressão sugere que a matriz de covariância de X é reduzida em direção a uma matriz diagonal, o que significa que (assumindo que as variáveis sejam padronizadas antes do procedimento) a correlação entre as variáveis de entrada será reduzida. Esta interpretação está correta?

2) Se é uma aplicação de retração, por que não é formulada nas linhas de , assumindo que de alguma forma podemos restringir lambda a [0,1] faixa com uma normalização . $(\lambda I_D + (1-\lambda)X'X)$

3) O que pode ser uma normalização para para que possa ser restrita a um intervalo padrão como [0,1]. $\lambda$

4) Adicionar uma constante à diagonal afetará todos os autovalores. Seria melhor atacar apenas os valores singulares ou quase singulares? Isso é equivalente à aplicação do PCA ao X e à retenção dos principais componentes N-top antes da regressão ou tem um nome diferente (já que não modifica o cálculo da covariância cruzada)?

5) Podemos regularizar a covariância cruzada, ou ela tem algum uso, significando

β_{r i d g e} = (λ I_{D} + X^{'} X)^{- 1} (γ X^{'} y)

$\beta_{ridge} = (\lambda I_D + X'X)^{-1}(\gamma X'y)$

onde um pequeno reduzirá a covariância cruzada. Obviamente, isso reduz todos os igualmente, mas talvez exista uma maneira mais inteligente de limiar rígido / flexível, dependendo do valor de covariância. $\gamma$ $\beta$

regression pca regularization ridge-regression Cagdas Ozgenc
fonte

A pena de cume vem de uma restrição que , por meio de um multiplicador de Lagrange na função objetivo MSE. LASSO é o mesmo, mas comem vez de. Estou no meu telefone e não posso postar facilmente uma derivação no momento. Mas estes são grandes questões

\sum β^{2} \leq T

$\sum \beta^2 \leq T$

| β |

$|\beta|$

shadowtalker

19

Boas perguntas!

Sim, isso está exatamente correto. Você pode ver a penalidade de cumeeira como uma maneira possível de lidar com o problema de multicolinearidade que surge quando muitos preditores estão altamente correlacionados. A introdução da penalidade na crista reduz efetivamente essas correlações.
Eu acho que isso é parcialmente tradição, em parte o fato de que a fórmula de regressão de cume conforme declarada em sua primeira equação segue a seguinte função de custo:Se , o segundo termo pode ser eliminado e a minimização do primeiro termo ("erro de reconstrução") leva à fórmula OLS padrão para . Manter o segundo termo leva à fórmula para . Essa função de custo é matematicamente muito conveniente de lidar, e esse pode ser um dos motivos para preferir lambda "não normalizado".
$L = ‖ y - X β ‖^{2} + λ ‖ β ‖^{2} .$ $L=\| \mathbf y - \mathbf X \beta \|^2 + \lambda \|\beta\|^2.$ $\lambda=0$ $\beta$ $\beta_\mathrm{ridge}$
Uma maneira possível de normalizar é escalá-lo pela variação total , ou seja, usar vez de . Isso não confinaria necessariamente a , mas o tornaria "sem dimensão" e provavelmente resultaria em ideal menor que em todos os casos práticos (Nota: isso é apenas um palpite!). $\lambda$ $\mathrm{tr}(\mathbf X^\top \mathbf X)$ $\lambda \mathrm{tr}(\mathbf X^\top \mathbf X)$ $\lambda$ $\lambda$ $[0,1]$ $\lambda$ $1$
"Atacar apenas pequenos autovalores" tem um nome separado e é chamado de regressão dos componentes principais. A conexão entre a PCR e a regressão de crista é que, na PCR, você efetivamente tem uma "penalidade de etapa" cortando todos os valores próprios após um certo número, enquanto a regressão de crista aplica uma "pena suave", penalizando todos os valores próprios, com os menores sendo penalizados mais. Isso é bem explicado em The Elements of Statistical Learning, de Hastie et al. (disponível gratuitamente on-line), seção 3.4.1. Veja também minha resposta em Relação entre regressão cume e regressão PCA .
Eu nunca vi isso feito, mas observe que você pode considerar uma função de custo no formatoIsso reduz seu a zero, mas a algum outro valor predefinido . Se alguém calcular a matemática, você chegará ao ideal dado por que talvez possa ser visto como "regularizando a covariância cruzada"?
$L = ‖ y - X β ‖^{2} + λ ‖ β - β_{0} ‖^{2} .$ $L=\| \mathbf y - \mathbf X \beta \|^2 + \lambda \|\beta-\beta_0\|^2.$ $\beta$ $\beta_0$ $\beta$ $β = (X^{⊤} X + λ I)^{- 1} (X^{⊤} y + λ β_{0}),$ $\beta = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} (\mathbf X^\top \mathbf y + \lambda \beta_0),$

ameba diz Restabelecer Monica
fonte

11

Você poderia explicar por que adicionar a significa que a matriz de covariância de é reduzida em direção a uma matriz diagonal? Esta é uma questão de álgebra puramente linear, suponho.

λ I_{D}

$\lambda I_D$

X^{'} X

$X'X$

X

$X$

Heisenberg

3

@Heisenberg, bem, é a matriz de covariância de (até um fator de escala de ). Computar requer a inversão dessa matriz de covariância. Na regressão de crista, invertemos , para que possamos ver como uma estimativa regularizada da matriz de covariância. Agora, o termo é uma matriz diagonal com na diagonal. Imagine que é muito grande; então a soma é dominada pelo termo diagonal e, assim, a covariância regularizada se torna cada vez mais diagonal à medida que cresce.

X^{⊤} X

$X^\top X$

X

$X$

1 / N

$1/N$

β

$\beta$

X^{⊤} X + λ I

$X^\top X + \lambda I$

X^{⊤} X + λ I

$X^\top X + \lambda I$

λ I

$\lambda I$

λ

$\lambda$

λ

$\lambda$

λ I

$\lambda I$

λ

$\lambda$

Ameba diz Reinstate Monica

wrt Q5, Elements of Statistical Aprendizagem olha restrições suavidade para aplicações de processamento de imagem (PDA - página 447)

seanv507

10

Um comentário adicional sobre a questão 4. Na verdade, a regressão de cume lida de maneira bastante eficaz com os pequenos valores próprios de enquanto deixa principalmente os grandes valores próprios sozinhos. $X^{T}X$

Para ver isso, expresse o estimador de regressão de crista em termos da decomposição do valor singular de , $X$

X = \sum_{i = 1}^{n} σ_{i} u_{i} v_{i}^{T}

$X=\sum_{i=1}^{n} \sigma_{i}u_{i}v_{i}^{T}$

onde os vetores são mutuamente ortogonais e os também são mutuamente ortogonais. Aqui, os autovalores de são , . $u_{i}$ $v_{i}$ $X^{T}X$ $\sigma_{i}^{2}$ $i=1, 2, \ldots, n$

Então você pode mostrar que

β_{ridge} = \sum_{i = 1}^{n} \frac{σ_{i}^{2}}{σ_{i}^{2} + λ} \frac{1}{σ_{i}} (u_{i}^{T} y) v_{i} .

$\beta_{\mbox{ridge}}=\sum_{i=1}^{n} \frac{\sigma_{i}^{2}}{\sigma_{i}^{2}+\lambda}\frac{1}{\sigma_{i}} (u_{i}^{T}y) v_{i}.$

Agora, considere os "fatores de filtro" . Se , os fatores de filtro são 1 e obtemos a solução convencional de mínimos quadrados. Se e , o fator de filtro é essencialmente 1. Se , esse fator é essencialmente 0. Assim, os termos correspondentes aos autovalores pequenos são eliminados efetivamente, enquanto os correspondentes aos autovalores maiores são retidos. $\sigma_{i}^{2}/(\sigma_{i}^{2}+\lambda)$ $\lambda=0$ $\lambda > 0$ $\sigma_{i}^{2} \gg \lambda$ $\sigma_{i}^{2} \ll \lambda$

Em comparação, a regressão dos componentes principais simplesmente usa fatores de 1 (para os valores próprios maiores) ou 0 (para os valores próprios menores que são descartados) nessa fórmula.

Brian Borchers
fonte

11

Isso é exatamente o que eu me referi brevemente na minha resposta, mas é muito bom tê-lo elaborado e demonstrado matematicamente, +1.

Ameba diz Reinstate Monica

5

As perguntas 1, 2 e 3 estão vinculadas. Eu gosto de pensar que sim, introduzir uma penalidade Ridge em um modelo de regressão linear pode ser interpretado como um encolhimento nas eigen valores de . Para fazer essa interpretação, é preciso primeiro supor que esteja centrado. Essa interpretação é baseada na seguinte equivalência: com e . Se , segue-se imediatamente esse . $X$ $X$

λ x + y = κ (α x + (1 - α) y),

$\lambda x + y = \kappa \left( \alpha x + (1-\alpha) y\right),$

α = \frac{λ}{1 + λ}

$\alpha=\frac{\lambda}{1+\lambda}$

κ = 1 + λ

$\kappa = 1+\lambda$

0 \leq λ < + \infty

$0 \leq \lambda < + \infty$

0 < α \leq 1

$0 < \alpha \leq 1$

A técnica que você descreve como "atacando apenas os valores singulares ou quase singulares" também é conhecida como Análise de Espectro Singular (para fins de regressão linear) (consulte a Eq. 19), se "atacando", você quer dizer "remover " A covariância cruzada é inalterada.

A remoção de valores singulares baixos também é feita pela Regressão do Componente Principal . Na PCR, um PCA é realizado em e uma regressão linear é aplicada em uma seleção dos componentes obtidos. A diferença com a SSA é que ela afeta a covariância cruzada. $X$

Vincent Guillemot
fonte

Obrigado. Na PCR, a covariância com y é calculada após a redução da dimensão, não? Essa é a diferença entre PCR e SSA? Seu gama (não o meu), como você seleciona para que o alfa seja [0,1] limitado?

Cagdas Ozgenc

11

γ

$\gamma$

κ

$\kappa$

Eu acho que você está correto sobre a diferença entre SSA e PCR, porém devemos anotá-la para ter certeza.

Vincent Guillemot

Interpretação da regularização de crista em regressão

Respostas: