Faixa de lambda na regressão líquida elástica

9

Dada a regressão líquida elástica

minb12||yXb||2+αλ||b||22+(1α)λ||b||1

como um intervalo apropriado de λ ser escolhido para validação cruzada?

No caso α=1 (regressão de crista), a fórmula

dof=jsj2sj2+λ

pode ser usado para fornecer graus de liberdade equivalentes para cada lambda (onde sj são os valores singulares de X ) e os graus de liberdade podem ser escolhidos em um intervalo sensível.

No caso α=0 (laço), sabemos que

λ>λmax=maxj|tytXtj|

resultará em todo bj sendo zero e λ pode ser escolhido em algum intervalo (0,λmax) .

Mas como lidar com o caso misto?

Chris Taylor
fonte

Respostas:

4

Eu acho que você deve usar um intervalo de a0

λmax=11αλmax

Meu raciocínio vem da extensão do caso do laço, e uma derivação completa está abaixo. O qualificador é que ele não captura a restrição contribuída pela regularização . Se eu descobrir como consertar isso (e decidir se ele realmente precisa de conserto), voltarei a editá-lo.2dof2


Definir o objetivo

f(b)=12yXb2+12γb2+δb1

Este é o objetivo que você descreveu, mas com alguns parâmetros substituídos para melhorar a clareza.

Convencionalmente, pode ser apenas uma solução para o problema de otimização se o gradiente em for zero. O termo não é bom, portanto, a condição é que esteja no subgradiente em .min f ( b ) b = 0 " b " 1 0 b = 0b=0minf(b)b=0b10b=0

O subgradiente de éf

f=XT(yXb)+γb+δb1

onde indica o subgradiente em relação a . Em , isso se tornab b = 0bb=0

f|b=0=XTy+δ[1,1]d

onde é a dimensão de , e a é um cubo dimensional. Portanto, para o problema de otimização ter uma solução de , deve ser queb [ - 1 , 1 ] d d b = 0db[1,1]ddb=0

(XTy)iδ[1,1]

para cada componente . Isso é equivalente ai

δ>maxi|jyjXij|

que é a definição que você deu para . Se agora for trocado, a fórmula da parte superior da postagem cairá. δ = ( 1 - α ) λλmaxδ=(1α)λ

Andy Jones
fonte