Por que o glmnet usa descida de coordenadas para a regressão de Ridge?

7

Se bem entendi, o glmnet usa descida cíclica de coordenadas não apenas para redes de laço e elástico, mas também para regressão de Ridge.

Por que ele usa esse algoritmo, que às vezes fornece resultados ligeiramente imprecisos, quando existe de fato uma solução fácil de formulário fechado disponível?

Muito obrigado antecipadamente!

lasso regularization ridge-regression glmnet elastic-net Benkyozamurai
fonte

Imagine que você tem e procura e , as estimativas de regressão do cume indexadas pelo parâmetro de ajuste. Para usar o formulário fechado para encontrar após calcular , você teria que resolver um sistema linear totalmente diferente que você usou para resolver . Mas, para usar a descida de coordenadas com partidas a quente, você encontraria muito rapidamente e com eficiência .

λ_{1} \approx λ_{2}

$\lambda_1 \approx \lambda_2$

{\hat{β}}_{λ_{1}}^{r i d g e}

$\hat\beta^{ridge}_{\lambda_1}$

{\hat{β}}_{λ_{2}}^{r i d g e}

$\hat\beta^{ridge}_{\lambda_2}$

{\hat{β}}_{λ_{2}}

$\hat\beta_{\lambda_2}$

{\hat{β}}_{λ_{1}}

$\hat\beta_{\lambda_1}$

{\hat{β}}_{λ_{1}}

$\hat\beta_{\lambda_1}$

{\hat{β}}_{λ_{2}}

$\hat\beta_{\lambda_2}$

user795305

métodos iterativos têm algumas vantagens em sistemas muito grandes e esparsos. portanto, mesmo em alguns casos, solução de formulário fechado disponível, ainda usamos métodos iterativos. Por exemplo, CG para resolver sistemas lineares

Haitao Du

7

Eu acho que isso é devido à velocidade. A descida cíclica de coordenadas não encontra a solução exata em tempo finito, mas é mais rápida, não apenas para uma grade de 's, mas também para uma única . $\lambda$ $\lambda$

Considere a tarefa de resolver a regressão de crista para um único , com uma matriz de dados de tamanho . Eu acredito que o tempo de execução ideal para a regressão exata da crista é se e se . Consulte Murphy, Machine Learning , seção 7.5.2 para obter uma referência. $\lambda$ $n \times p$ $O(n^2p)$ $n < p$ $O(np^2)$ $n > p$

Com o algoritmo de descida cíclica de coordenadas, "um ciclo completo através de todas as variáveis custa operações " (p. 6, Friedman et al. 2010, https://www.jstatsoft.org/article/view/v033i01 ). Pode-se especificar um número de ciclos com para obter um tempo de execução grande-Oh mais rápido para um único . Para resolver muitos 's, o método deve gerar melhorias adicionais usando partidas quentes. $p$ $O(pN)$ $c$ $c \ll min(n, p)$ $\lambda$ $\lambda$ glmnet

Brian Z
fonte

1

Existem outros solucionadores para cume e o objetivo do solucionador glmnet é exatamente o de usar o CCD por razões de rastreabilidade e velocidade. Eles usam o mesmo código para todas as soluções elasticnet. O Elasticnet inclui cume e LASSO configurando ou como . $\lambda_1$ $\lambda_2$ $0$

Tobias Abenius
fonte

Por que o glmnet usa descida de coordenadas para a regressão de Ridge?

Respostas: