Como interpretar os resultados quando o cume e o laço executam bem separadamente, mas produzem coeficientes diferentes

Estou executando um modelo de regressão com Lasso e Ridge (para prever uma variável de resultado discreto variando de 0 a 5). Antes de executar o modelo, uso o SelectKBestmétodo de scikit-learnpara reduzir o conjunto de recursos de 250 para 25 . Sem uma seleção inicial de recursos, Lasso e Ridge produzem escores de precisão mais baixos [o que pode ser devido ao pequeno tamanho da amostra, 600]. Além disso, observe que alguns recursos estão correlacionados.

Depois de executar o modelo, observo que a precisão da previsão é quase a mesma com Lasso e Ridge. No entanto, quando verifico os 10 primeiros recursos depois de ordená-los pelo valor absoluto dos coeficientes, vejo que há no máximo 50% de sobreposição.

Ou seja, considerando que a importância diferente dos recursos foi atribuída por cada método, eu poderia ter uma interpretação totalmente diferente, com base no modelo escolhido.

Normalmente, os recursos representam alguns aspectos do comportamento do usuário em um site. Portanto, quero explicar as descobertas destacando os recursos (comportamentos do usuário) com maior capacidade preditiva versus recursos mais fracos (comportamentos do usuário). No entanto, não sei como avançar neste momento. Como devo abordar a interpretação do modelo? Por exemplo, devo combinar os dois e destacar o que se sobrepõe, ou devo usar o Lasso, pois ele oferece mais interpretabilidade?

A regressão de Ridge incentiva todos os coeficientes a se tornarem pequenos. Lasso incentiva muitos / a maioria dos [**] coeficientes a se tornarem zero e alguns não-zero. Ambos reduzirão a precisão no conjunto de treinamento, mas melhorarão a previsão de alguma forma:

• A regressão de crista tenta melhorar a generalização para o conjunto de testes, reduzindo o excesso de ajuste
• laço reduzirá o número de coeficientes diferentes de zero, mesmo que isso penalize o desempenho nos conjuntos de treinamento e teste

Você pode obter diferentes opções de coeficientes se seus dados estiverem altamente correlacionados. Portanto, você pode ter 5 recursos correlacionados:

• Ao atribuir coeficientes pequenos, mas diferentes de zero, a todos esses recursos, a regressão de crista pode obter baixa perda no conjunto de treinamento, o que pode generalizar plausivelmente para o conjunto de teste
• o laço pode escolher apenas um deles, que se correlacione bem com os outros quatro. e não há razão para escolher o recurso com o maior coeficiente na versão de regressão de crista

[*] para uma definição de significado 'escolha': atribui um coeficiente diferente de zero, que ainda é um pouco ondulado, uma vez que os coeficientes de regressão da crista tendem a ser todos iguais a zero, mas, por exemplo, alguns podem ser como 1e-8 e outros podem ser, por exemplo, 0,01

$\lambda$