Escolhendo o alfa ideal na regressão logística líquida elástica

Estou executando uma regressão logística de rede elástica em um conjunto de dados de assistência médica usando o glmnetpacote em R selecionando valores lambda em uma grade de de 0 a 1. Meu código abreviado está abaixo: $\alpha$

alphalist <- seq(0,1,by=0.1)
elasticnet <- lapply(alphalist, function(a){
  cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001)
})
for (i in 1:11) {print(min(elasticnet[[i]]$cvm))}

que gera o erro cruzado médio validado para cada valor de alfa de a com um incremento de : $0.0$ $1.0$ $0.1$

[1] 0.2080167
[1] 0.1947478
[1] 0.1949832
[1] 0.1946211
[1] 0.1947906
[1] 0.1953286
[1] 0.194827
[1] 0.1944735
[1] 0.1942612
[1] 0.1944079
[1] 0.1948874

Com base no que li na literatura, a escolha ideal de é onde o erro cv é minimizado. Mas há muita variação nos erros no intervalo de alfas. Estou vendo vários mínimos locais, com um erro mínimo global de para . $\alpha$ 0.1942612alpha=0.8

É seguro ir com alpha=0.8? Ou, dada a variação, devo executar novamente cv.glmnetcom mais dobras de validação cruzada (por exemplo, vez de ) ou talvez um número maior de incrementos de entre e para obter uma imagem clara do caminho do erro cv? $20$ $10$ $\alpha$ alpha=0.01.0

machine-learning cross-validation glmnet elastic-net RobertF
fonte

Você gostaria de dar uma olhada no caretpacote que pode repetir cv e ajustar tanto alpha quanto lambda (suporta processamento multicore!). De memória, acho que a glmnetdocumentação desaconselha o ajuste do alfa da maneira que você faz aqui. Ele recomenda manter os foldids fixos se o usuário estiver ajustando para alfa, além do ajuste para lambda fornecido por cv.glmnet.

Ah, encontrei este post aqui: stats.stackexchange.com/questions/69638/…

RobertF

não se esqueça de fixar o foldid quando você está tentando diferente

α

$\alpha$

user4581

Para reprodutibilidade, nunca execute cv.glmnet()sem passar foldidscriado a partir de uma semente aleatória conhecida.

smci 24/02

@amoeba, dê uma olhada na minha resposta - comentários sobre as compensações entre l1 e l2 são bem-vindos!

Xavier Bourret Sicotte

Respostas:

Esclarecendo o significado de parâmetros $\alpha$ e Elastic Net

Terminologia e parâmetros diferentes são usados por pacotes diferentes, mas o significado geralmente é o mesmo:

O pacote R Glmnet usa a seguinte definição

$\min_{\beta_0,\beta} \frac{1}{N} \sum_{i=1}^{N} w_i l(y_i,\beta_0+\beta^T x_i) + \lambda\left[(1-\alpha)||\beta||_2^2/2 + \alpha ||\beta||_1\right]$

Sklearn usa

$\min_{w} \frac{1}{2N} \sum_{i=1}^{N} ||y - Xw ||^2_2 + \alpha \times l_1 \text{ratio} ||w||_1 + 0.5 \times \alpha \times (1 - l_1 \text{ratio}) \times ||w||_2^2$

Existem parametrizações alternativos que utilizam $a$ e $b$ , bem ..

Para evitar confusão, eu vou ligar

$\lambda$ o parâmetro de força da penalidade
$L_1 \text{ratio}$ a relação entre apenalidade $L_1$ e $L_2$ , variando de 0 (cumeeira) a 1 (laço)

Visualizando o Impacto dos Parâmetros

Considere um conjunto de dados simulados em que $y$ consiste em uma curva senoidal barulhenta e $X$ é um recurso bidimensional que consiste em $X_1 = x$ e $X_2 = x^2$ . Devido à correlação entre $X_1$ e $X_2$ a função de custo é um vale estreito.

Os gráficos abaixo ilustram o caminho solução de elasticnet regressão com dois diferentes $L_1$ parâmetros de razão, como uma função de $\lambda$ o parâmetro de resistência.

Para ambas as simulações: quando $\lambda = 0$ , a solução é a solução OLS no canto inferior direito, com a função de custo em forma de vale associada.
À medida que $\lambda$ aumenta, a regularização entra em ação e a solução tende a $(0,0)$
A principal diferença entre as duas simulações é o parâmetro da razão $L_1$ .
$L_1$
$L_1$
$L_1$

Compreendendo o efeito dos parâmetros

O ElasticNet foi introduzido para combater algumas das limitações do Lasso, que são:

$p$ $n$ $p>n$ $n$
Lasso falha ao executar a seleção agrupada, especialmente na presença de variáveis correlacionadas. Tende a selecionar uma variável de um grupo e ignorar as outras

$L_1$ $L_2$

$L_1$
$L_2$ $L_1$

Você pode ver isso visualmente no diagrama acima, as singularidades nos vértices incentivam a dispersão , enquanto as arestas convexas estritas incentivam o agrupamento .

Aqui está uma visualização tirada de Hastie (o inventor do ElasticNet)

Leitura adicional

Xavier Bourret Sicotte
fonte

Deixe-me acrescentar algumas observações muito práticas, apesar da idade da pergunta. Como não sou usuário de R, não posso deixar o código falar, mas deve ser compreensível.

$\alpha$ $k$ $f_1, ..., f_k$ $f(x) = \frac{1}{k}\sum_i{f_i(x)}$ $f(x) = \sqrt[k]{\prod_{i=1}^k{f_i(x)}}$
Uma vantagem da reamostragem é que você pode inspecionar a sequência das pontuações dos testes, que são as pontuações da cv. Você deve sempre olhar não apenas a média, mas também o desvio padrão (não é uma distribuição normal, mas você age como se). Normalmente, você exibe esta palavra como 65,5% (± 2,57%) para precisão. Dessa forma, você pode saber se os "pequenos desvios" têm maior probabilidade de serem por acaso ou estruturalmente. Melhor seria mesmo inspecionar as seqüências completas . Se sempre houver uma dobra por algum motivo, convém repensar a maneira como está fazendo sua divisão (isso indica um projeto experimental defeituoso, também: você embaralhou?). No scikit-learn, os GridSearchCVdetalhes das lojas sobre os vencimentos das dobras em cv_results_( veja aqui ).
$\alpha$ $L_1$ $\alpha$ $L_2$

uberwach
fonte