Pode aumentar quando

Se $\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1$ , pode $\|\beta^*\|_2$ aumentar quando $\lambda$ aumenta?

Eu acho que isso é possível. Embora $\|\beta^*\|_1$ não aumente quando $\lambda$ aumenta (minha prova ), $\|\beta^*\|_2$ pode aumentar. A figura abaixo mostra uma possibilidade. Quando $\lambda$ aumenta, se $\beta^*$ viaja (linearmente) de $P$ para $Q$ , então $\|\beta^*\|_2$ aumenta enquanto $\|\beta^*\|_1$ diminui. Mas não sei como construir um exemplo concreto (ou seja, construir $X$ e $y$ ), para que o perfil de $\beta^*$ demonstre esse comportamento. Alguma ideia? Obrigado.

A resposta é sim, e você tem uma prova gráfica em ali.$\ell_2$

Procure a definição de equivalência de normas de vetores. Você encontrará que que é a dimensão do vetor . Portanto, há espaço de manobra para a norma , em comparação com a norma .

$$\|x\|_2 \leq \|x\|_1 \leq \sqrt{n}\|x\|_2,$$ $n$$x$$\ell_2$$\ell_1$

De fato, o problema que você deseja resolver pode ser indicado como:

Encontre tal que enquanto ao mesmo tempo $d$

$$\|x + d\|_2 > \|x\|_2$$ $$\|x + d\|_1 < \|x\|_1.$$

Esquadre a primeira desigualdade, expanda e veja que e que, assumindo que e , obtemos da segunda desigualdade que devemos ter Qualquer que atenda a essas restrições aumentará a norma enquanto diminui a norma .

$$2\sum_i x_id_i > -\sum_i d_i^2$$ $x_i\geq0$$x_i+d_i\geq0$ $$\sum_i d_i < 0.$$ $d$$\ell_2$$\ell_1$

No seu exemplo, , e e $d\approx[-0.4, 0.3]^T$$x:=P\approx[0.5, 0.6]^T$

$$\sum_i d_i\approx-0.1<0,$$ $$2\sum_i P_id_i\approx-0.04 > -0.25 \approx -\sum_i d_i^2.$$

Obrigado pela resposta de @ TommyL, mas sua resposta não é direta na construção de e . De alguma forma, "resolvo" isso sozinho. Primeiro, quando aumenta, não aumenta quando cada diminui monotonicamente. Isso acontece quando é ortonormal, no qual temosy λ ‖ β * ‖ 2 β * i$X$$y$$\lambda$$\|\beta^*\|_2$$\beta^*_i$$X$

$$\beta^*_i=\mathrm{sign}(\beta_i^{\mathrm{LS}})(\beta_i^{\mathrm{LS}}-\lambda)_+$$

Geometricamente, nessa situação, move-se perpendicularmente ao contorno da norma , portanto não pode aumentar.ℓ 1 ‖ β * ‖ $\beta^*$$\ell_1$$\|\beta^*\|_2$

Na verdade, Hastie et al. mencionado no artigo A regressão estática e o laço monótono , uma condição necessária e suficiente da monotonicidade dos caminhos do perfil:

Na Seção 6 do artigo, eles construíram um conjunto de dados artificiais com base em funções de base linear por partes que violam a condição acima, mostrando a não monotonicidade. Mas se tivermos sorte, também podemos criar um conjunto de dados aleatórios demonstrando o comportamento semelhante, mas de uma maneira mais simples. Aqui está o meu código R:

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

Eu deliberadamente deixei as colunas de altamente correlacionadas (longe do caso ortonormal), e o verdadeiro tem grandes entradas positivas e negativas. Aqui está o perfil de (não surpreendentemente, apenas 5 variáveis ​​estão ativadas):β β $X$$\beta$$\beta^*$

e a relação entre e :″ β ∗ ″ $\lambda$$\|\beta^*\|_2$

Portanto, podemos ver que, por algum intervalo de , aumenta à medida que aumenta.″ β ∗ ″ 2$\lambda$$\|\beta^*\|_2$$\lambda$