Validação cruzada para regressão líquida elástica: erro ao quadrado vs. correlação no conjunto de testes

7

Considere regressão líquida elástica com glmnetparametrização semelhante à função de perda

L=12nyβ0Xβ2+λ(αβ1+(1α)β22/2).
Eu tenho um conjunto de dados com np (44 e 3000 respectivamente) e estou usando a validação cruzada de 11 vezes repetida para selecionar os parâmetros de regularização ideais α e λ . Normalmente, eu usaria o erro ao quadrado como a métrica de desempenho no conjunto de testes, por exemplo, essa métrica do tipo R ao quadrado:
Ltest=1ytestβ^0Xtestβ^2ytestβ^02,
mas desta vez também tentei usar a métrica de correlação (observe que para o A regressão OLS regularizada, minimizando a perda de erro ao quadrado, é equivalente a maximizar a correlação):
Ltest=corr(ytest,Xtestβ^).

É claro que essas duas métricas de desempenho não são exatamente equivalentes, mas, estranhamente, elas discordam bastante:

Validação cruzada líquida elástica

Observe em particular o que acontece nos alfas pequenos, por exemplo, α=.2 (linha verde): a correlação máxima do conjunto de testes é alcançada quando o conjunto de testes R2 cai substancialmente em comparação com o máximo. Em geral, para qualquer α , a correlação parece ser maximizada em \ lambda maior λque o erro ao quadrado.

Por que isso acontece e como lidar com isso? Qual critério deve ser preferido? Alguém encontrou esse efeito?

ameba
fonte
As dobras do CV são exatamente iguais em cada experimento?
Alexey Burnakov
@AlexeyBurnakov Sim. Os parâmetros de loop over regularization estão dentro do loop over folds.
Ameba
Se os modelos nos dois gráficos também forem os mesmos, eu diria que os resultados não fazem sentido até que haja algum erro no cálculo. Eu tentei o elasticnet, mas não com essas métricas de desempenho.
Alexey Burnakov
de fato, com CV, a métrica de perda está sendo calculada sobre as dobras de teste e, no seu caso, o R ^ 2 não precisa se encaixar exatamente na correlação ^ 2, não é? Talvez a discrepância esteja no fato de os valores de qualquer uma das métricas de perda serem muito desiguais nas dobras do teste de CV? Por exemplo, 0,5, 0,9, 0,1, 0,99, 0,05, que média produziria alguma figura bizarra no final completamente incompatível com a da outra?
Alexey Burnakov
11
Não sei o que você quis dizer com @AlexeyBurnakov. Mas, de qualquer forma, veja a resposta que acabei de postar.
Ameba

Respostas:

5

Eu acho que descobri o que estava acontecendo aqui.

Observe que o valor da correlação não depende do comprimento de . Portanto, se a correlação do teste continuar aumentando enquanto o quadrado R do teste cair, isso pode indicar que não é o ideal e a escala cima ou para baixo por um fator escalar pode ajudar.β^β^β^

Depois de perceber isso, lembrei-me de que havia na literatura múltiplas alegações de que a rede elástica, e até o laço por si só, "encolhem demais" os coeficientes. Para o laço, existe o procedimento "laço relaxado" que tem como objetivo alterar esse viés: consulte Vantagens de fazer o "laço duplo" ou executar o laço duas vezes? . Para redes elásticas, o artigo original de Zou & Hastie 2005 realmente defendia a expansão por um fator constante, consulte Por que o glmnet usa rede elástica "ingênua" do artigo original de Zou & Hastie? . Essa escala não alteraria o valor da correlação, mas afetaria o quadrado-R.β^

Quando aplico a escala heurística de Zou & Hastie obtenho o seguinte resultado:

β^=(1+λ(1α))β^,

insira a descrição da imagem aqui

Aqui, as linhas sólidas são as mesmas da figura na minha pergunta, enquanto as linhas tracejadas na subtrama esquerda usam a versão beta reescalonada. Agora, ambas as métricas são maximizadas em torno dos mesmos valores de e .αλ

Magia!

ameba
fonte
11
Bem feito! Sutil ...
Matthew Drury