Mostrando a equivalência entre as Norm regularizada Regressão e Norm Constrained Regressão Usando KKT

De acordo com as referências Livro 1 , Livro 2 e papel .

Foi mencionado que existe uma equivalência entre a regressão regularizada (Ridge, LASSO e Elastic Net) e suas fórmulas de restrição.

Também examinei o Cross Validated 1 e o Cross Validated 2 , mas não vejo uma resposta clara que mostre essa equivalência ou lógica.

Minha pergunta é

Como mostrar essa equivalência usando Karush – Kuhn – Tucker (KKT)?

As fórmulas a seguir são para regressão de Ridge.

NOTA

Esta pergunta não é lição de casa. É apenas para aumentar minha compreensão deste tópico.

ATUALIZAR

Ainda não tive a ideia.

A resposta mais técnica é porque o problema de otimização restrita pode ser escrito em termos de multiplicadores de Lagrange. Em particular, o Lagrangiano associado ao problema de otimização restrita é dado por que é um multiplicador escolhido para satisfazer as restrições do problema. As condições de primeira ordem (que são suficientes desde que você esteja trabalhando com funções convexas apropriadas) para esse problema de otimização podem ser obtidas pela diferenciação do Lagrangiano em relação a

$$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}}\,\left\{\sum_{i=1}^N \left(y_i - \sum_{j=1}^p x_{ij} \beta_j\right)^2\right\} + \mu \left\{(1-\alpha) \sum_{j=1}^p |\beta_j| + \alpha \sum_{j=1}^p \beta_j^2\right\}$$ $\mu$$\beta$e definir as derivadas iguais a 0 (é um pouco mais sutil, pois a parte do LASSO possui pontos indiferenciados, mas existem métodos de análise convexa para generalizar a derivada e fazer com que a condição de primeira ordem ainda funcione). É claro que essas condições de primeira ordem são idênticas às condições de primeira ordem do problema irrestrito que você anotou.

No entanto, acho útil ver por que, em geral, com esses problemas de otimização, muitas vezes é possível pensar sobre o problema através das lentes de um problema de otimização restrito ou através das lentes de um problema irrestrito. Mais concretamente, suponha que tenhamos um problema de otimização irrestrito da seguinte forma: Sempre podemos tentar resolver essa otimização diretamente, mas, às vezes, pode fazer sentido quebrar esse problema em sub-componentes. Em particular, não é difícil ver que Portanto, para um valor fixo de

$$\max_x f(x) + \lambda g(x)$$ $$\max_x f(x) + \lambda g(x) = \max_t \left(\max_x f(x)\ \mathrm{ s.t }\ g(x) = t\right) + \lambda t$$ $\lambda$(e supondo que as funções a serem otimizadas realmente atinjam seus ótimos), podemos associar a ele um valor que resolve o problema externo de otimização. Isso nos dá uma espécie de mapeamento de problemas de otimização irrestritos para problemas restritos. Na sua configuração específica, como tudo é bem comportado para a regressão líquida elástica, esse mapeamento deve ser de fato um para um, por isso será útil poder alternar entre esses dois contextos, dependendo do que for mais útil para uma aplicação específica. Em geral, esse relacionamento entre problemas restritos e irrestritos pode ser menos bem-comportado, mas ainda pode ser útil pensar até que ponto você pode se mover entre o problema restrito e irrestrito.$t^*$

Edit: Conforme solicitado, incluirei uma análise mais concreta para a regressão de cordilheiras, pois captura as idéias principais e evita ter que lidar com os aspectos técnicos associados à não diferenciabilidade da penalidade do LASSO. Lembre-se, estamos resolvendo o problema de otimização (em notação matricial):

$$\underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\}\quad\mathrm{s.t.}\, ||\beta||^2 \leq M$$

Seja a solução OLS (ou seja, quando não houver restrições). Então, focarei no caso em que(desde que isso exista), caso contrário, a restrição é desinteressante, pois não vincula. O Lagrangiano para esse problema pode ser escrito Então , diferenciando , obtemos as condições de primeira ordem: que é apenas um sistema de equações lineares e, portanto, pode ser resolvido: $\beta^{OLS}$$M < \left|\left|\beta^{OLS}\right|\right|$

$$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\} - \mu\cdot||\beta||^2 \leq M$$ $$0 = -2 \left(\sum_{i=1}^N y_i x_i + \left(\sum_{i=1}^N x_i x_i^T + \mu I\right) \beta\right)$$ $$\hat\beta = \left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)$$ para alguma escolha de multiplicador . O multiplicador é então simplesmente escolhido para tornar a restrição verdadeira, ou seja, precisamos$\mu$

$$\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right)^T\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right) = M$$ que existe desde que o LHS é monotônico em . Essa equação fornece um mapeamento explícito de multiplicadores para restrições, com quando o RHS existe e Esse mapeamento na verdade corresponde a algo bastante intuitivo. O teorema do envelope nos diz que$\mu$$\mu \in (0,\infty)$$M \in \left(0, \left|\left|\beta^{OLS}\right|\right|\right)$ $$\lim_{\mu\to 0} M(\mu) = \left|\left|\beta^{OLS}\right|\right|$$ $$\lim_{\mu \to \infty} M(\mu) = 0$$ $\mu(M)$corresponde à diminuição marginal no erro que começa a partir de um pequeno relaxamento da restrição . Isso explica por que quando corresponde a. Uma vez que a restrição não é vinculativa, não há mais valor em relaxá-la, razão pela qual o multiplicador desaparece.$M$$\mu \to 0$$M \to \left|\right|\beta^{OLS}\left|\right|$

Há uma ótima análise por stats_model em sua resposta .

Tentei responder a perguntas semelhantes em A prova de fórmulas equivalentes de regressão de Ridge .

Vou usar mais a abordagem Hand On para este caso.
Vamos tentar ver o mapeamento entre e nos 2 modelos.$t$$\lambda$

Como escrevi e posso ser visto em stats_model em sua análise, o mapeamento depende dos dados. Por isso, escolheremos uma realização específica do problema. No entanto, o código e o esboço da solução adicionarão intuição ao que está acontecendo.

Vamos comparar os 2 modelos a seguir:

$$\text{The Regularized Model: } \arg \min_{x} \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$$

$$\text{The Constrained Model: } \begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$$

Vamos supor que seja a solução do modelo regularizado e seja a solução do modelo restrito.$\hat{x}$$\tilde{x}$

Estamos vendo o mapeamento de para modo que . Olhando na minha solução para o Solver para Mínimos Quadrados de Restrições Normativas, pode-se ver que resolver o Modelo Restrito envolve resolver o Modelo Regularizado e encontrar o que corresponde ao (o código real é apresentado em Mínimos Quadrados com Euclidiano ( ) restrição de norma ).$t$$\lambda$$\hat{x} = \tilde{x}$
$\lambda$$t$${L}_{2}$

Então, executaremos o mesmo solucionador e, para cada , exibiremos o ideal .$t$$\lambda$

O solucionador basicamente resolve:

$$\begin{align*} \arg_{\lambda} \quad & \lambda \\ \text{subject to} \quad & {\left\| {\left( {A}^{T} A + 2 \lambda I \right)}^{-1} {A}^{T} b \right\|}_{2}^{2} - t = 0 \end{align*}$$

Então aqui está a nossa matriz:

mA =

   -0.0716    0.2384   -0.6963   -0.0359
    0.5794   -0.9141    0.3674    1.6489
   -0.1485   -0.0049    0.3248   -1.7484
    0.5391   -0.4839   -0.5446   -0.8117
    0.0023    0.0434    0.5681    0.7776
    0.6104   -0.9808    0.6951   -1.1300

E aqui está o nosso vetor:

vB =

    0.7087
   -1.2776
    0.0753
    1.1536
    1.2268
    1.5418

Este é o mapeamento:

Como pode ser visto acima, para um valor alto o suficiente de o parâmetro conforme o esperado.$t$$\lambda = 0$

Aproximando o zoom [0, 10]:

O código completo está disponível no meu repositório StackExchange Validated Q401212 GitHub .