Propriedades de polarização e variância da normalização vs

Ao passar da normalização para na regressão linear, devo esperar ver mais viés ou mais variação? Observe que o viés é um sinal de falta de ajuste e a variação é um sinal de falta de ajuste. Assuma a constante λ.$L^2$$L^1$

Estou procurando uma regra geral aqui. Se não houver, e a resposta depender de alguns outros fatores que ainda não foram explicados, explique.

A variação aumentará, o problema com a regularização de L1 é que alguns dos coeficientes são altamente imprevisíveis. A resposta depende da gravidade da sua regularização ( valor ). Eu gerei onda de pecado com ruído gaussiano com sementes diferentes e o que é observado é como menor valor a norma l1 tem uma variação menor, pois valores aumenta a norma l2 tem variação menor.$\lambda$$\lambda$$\lambda$

Como você pode ver na imagem, o alfa é o coeficiente de regularização. em o correspondente, vemos a grande diferença entre os coeficientes de regressão de Rigde, mas, à medida que alfa aumenta, o desvio na crista diminui drasticamente. mas quando o laço e a crista têm menor variação. Assim, à medida que o alfa diminui, a variação da crista aumenta drasticamente.$\alpha = 1e-15$$\alpha = 10$

PS: Eu experimentei essa configuração várias vezes e a tendência é consistente.
Portanto, respondendo à sua pergunta, a variação aumentará quando você alternar do regularizador L1 para L2 (e a escala de aumento depende do valor ).$\lambda$

também eu adicionei os produtos de ponto de vector.just para ver como diffrent a . as entradas diagonais são -ve, o que diz que há muita diferença entre os . isso será estendido ainda mais com análises mais detalhadas.$W$$w$$Ws$