Pode aumentar quando

11

Se β=argminβyXβ22+λβ1 , pode β2 aumentar quando λ aumenta?

Eu acho que isso é possível. Embora β1 não aumente quando λ aumenta (minha prova ), β2 pode aumentar. A figura abaixo mostra uma possibilidade. Quando λ aumenta, se β viaja (linearmente) de P para Q , então β2 aumenta enquanto β1 diminui. Mas não sei como construir um exemplo concreto (ou seja, construir X e y ), para que o perfil de β demonstre esse comportamento. Alguma ideia? Obrigado.

insira a descrição da imagem aqui

ziyuang
fonte

Respostas:

10

A resposta é sim, e você tem uma prova gráfica em ali.2

Procure a definição de equivalência de normas de vetores. Você encontrará que que é a dimensão do vetor . Portanto, há espaço de manobra para a norma , em comparação com a norma .

x2x1nx2,
nx21

De fato, o problema que você deseja resolver pode ser indicado como:

Encontre tal que enquanto ao mesmo tempo d

x+d2>x2
x+d1<x1.

Esquadre a primeira desigualdade, expanda e veja que e que, assumindo que e , obtemos da segunda desigualdade que devemos ter Qualquer que atenda a essas restrições aumentará a norma enquanto diminui a norma .

2ixidi>idi2
xi0xi+di0
idi<0.
d21

No seu exemplo, , e e d[0.4,0.3]Tx:=P[0.5,0.6]T

idi0.1<0,
2iPidi0.04>0.25idi2.
Tommy L
fonte
Mas como isso está relacionado à construção do e ? yXy
ziyuang
3

Obrigado pela resposta de @ TommyL, mas sua resposta não é direta na construção de e . De alguma forma, "resolvo" isso sozinho. Primeiro, quando aumenta, não aumenta quando cada diminui monotonicamente. Isso acontece quando é ortonormal, no qual temosy λ β * 2 β * i XXyλβ2βiX

βi=sign(βiLS)(βiLSλ)+

Geometricamente, nessa situação, move-se perpendicularmente ao contorno da norma , portanto não pode aumentar.1β * doisβ1β2

Na verdade, Hastie et al. mencionado no artigo A regressão estática e o laço monótono , uma condição necessária e suficiente da monotonicidade dos caminhos do perfil:

insira a descrição da imagem aqui

Na Seção 6 do artigo, eles construíram um conjunto de dados artificiais com base em funções de base linear por partes que violam a condição acima, mostrando a não monotonicidade. Mas se tivermos sorte, também podemos criar um conjunto de dados aleatórios demonstrando o comportamento semelhante, mas de uma maneira mais simples. Aqui está o meu código R:

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

Eu deliberadamente deixei as colunas de altamente correlacionadas (longe do caso ortonormal), e o verdadeiro tem grandes entradas positivas e negativas. Aqui está o perfil de (não surpreendentemente, apenas 5 variáveis ​​estão ativadas):β β Xββ

insira a descrição da imagem aqui

e a relação entre e :β 2λβ2

insira a descrição da imagem aqui

Portanto, podemos ver que, por algum intervalo de , aumenta à medida que aumenta.β 2 λλβ2λ

ziyuang
fonte