A normalização de L2 da regressão de crista pune a interceptação? Se não, como resolver sua derivada?

Eu sou novo no ML. Fui informado de que a normalização L2 da regressão de crista não pune a interceptação . Como na função de custo: O termo de normalização de L2 apenas soma de a , não de a . Eu também li que: ∇ θ J ( θ ) = $\theta_{0}$ λ∑ n j = 1 θ 2 j j=1nj=0

$$\nabla_{\theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(h_{\vec \theta}(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$ $\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$j=1$$n$$j=0$$n$

na maioria dos casos (todos os casos?), é melhor você não regularizar , pois é improvável que você reduza a e diminua o espaço das funções representáveis$\theta_{0}$

que vem da última resposta do usuário48956 de Por que um modelo de regressão linear com interceptação zero prevê melhor do que um modelo com interceptação?

Estou confuso sobre como resolver a derivada da função de custo, pois: onde , e .

$$\nabla_{\theta}J(\theta)=\frac{1}{2}（X\theta-Y）^{T}（X\theta-Y）+\lambda(\theta^{'})^{T}\theta^{'},$$ θ= [ θ 0 θ 1 . . . θ n ] X= [ 1 X ( 1 ) 1 X ( 1 ) 2 . . . X ( 1 ) n 1 X ( 2 ) 1 X ( 2 ) 2 . $\theta^{'}=\left[ \begin{matrix} \theta_{1} \\ \theta_{2} \\ ...\\ \theta_{n} \end{matrix} \right]$$\theta=\left[ \begin{matrix} \theta_{0} \\ \theta_{1} \\ ...\\ \theta_{n} \end{matrix} \right]$$X=\left[ \begin{matrix} 1 & X_{1}^{(1)} & X_{2}^{(1)} & ...& X_{n}^{(1)} \\ 1 & X_{1}^{(2)} & X_{2}^{(2)} & ...& X_{n}^{(2)} \\ ...\\ 1 & X_{1}^{(m)} & X_{2}^{(m)} & ...& X_{n}^{(m)} \end{matrix} \right]$

Θθ$\theta^{'}$ e são diferentes. Portanto, eles não podem ser misturados do meu ponto de vista. E a derivada é sobre， que contém . Após pesquisar no Google e visualizar as perguntas neste fórum, ainda não há como obter a solução: Alguém pode me dar uma pista? Agradeço antecipadamente por sua ajuda!$\theta$$\theta$ Θ=(XtX+λ*I) - 1 XT$\theta^{'}$

$$\theta=(X^TX+\lambda*I)^{-1}X^TY$$

No entanto, acho que existem duas correções rápidas para esse problema:

Primeiro de tudo, nós não adicionar a coluna toda 1 a . Ou seja, . Ou seja, não incluímos a interceptação no modelo: Acredito que esse método seja adotado no livro clássico Machine Learning in Action, de Peter Harrington, que estou lendo atualmente. Na implementação da regressão de crista (P166 e P177, se você também possui o livro), todo o passado para a regressão de crista não possui a coluna todos 1.X = $X$ y= θ 1 X 1 + θ 2 X 2 +. . . + θ n X n . $X=\left[ \begin{matrix} X_{1}^{(1)} & X_{2}^{(1)} & ...& X_{n}^{(1)} \\ X_{1}^{(2)} & X_{2}^{(2)} & ...& X_{n}^{(2)} \\ ...\\ X_{1}^{(m)} & X_{2}^{(m)} & ...& X_{n}^{(m)} \end{matrix} \right]$

$$y=\theta_{1}X_{1}+\theta_{2}X_{2}+...+\theta_{n}X_{n}.$$ $X$

Em segundo lugar, a interceptação também está sendo punida na realidade.

A regressão logística do scikit regulariza a interceptação por padrão.

que mais uma vez vem da última resposta do usuário48956 de Por que um modelo de regressão linear de interceptação zero prevê melhor do que um modelo com interceptação?

Ambas as duas correções rápidas levam à solução

$$\theta=(X^TX+\lambda*I)^{-1}X^TY.$$

Então, a derivada da normalização L2 da regressão de crista pode realmente ser resolvida ou apenas resolvida por soluções rápidas?

Os elementos de aprendizagem estatística de Hastie et al. ressalta no P63 que:

a interceptação foi deixada de fora do termo da penalidade$\theta_{0}$

Além disso, diz:

As soluções de crista não são equivalentes na escala das entradas e, portanto, normalmente as padronizamos antes de resolver (3.41) (3.41 é a função de custo). Pode ser mostrado (Exercício 3.5) que a solução para (3.41) pode ser separada em duas partes, após reparametrização usando entradas centralizadas: cada é substituído por Nós estimamos por Os coeficientes restantes são estimados por uma regressão de crista sem interceptar, usando o centralizado . A partir de agora assumimos que essa centralização foi realizada, de modo que a matriz de entrada tenha X ( i ) j - ¯ x j . θ 0 ¯ y = $X_{j}^{(i)}$$X_{j}^{(i)}-\overline{x_{j}}.$$\theta_{0}$$\overline{y}=\frac{1}{m}\sum_{i=1}^{m}y^{(i)}$$X_{j}^{(i)}$$X$$n$(em vez de ) colunas.$n + 1$

Embora eu me pergunte por que os Elementos do aprendizado estatístico sugerem primeiro a padronização de recursos e, em seguida, apenas a centralização de recursos é realizada. Talvez concorde com o Exercício 3.5, que usa apenas a centralização de recursos.

De qualquer forma, acredito que é correto aplicar a padronização do z-score aos recursos. Então, agora tento resolver a derivada da função de custo da regressão de cume, seguindo a sugestão da ameba do comentador acima. Muito obrigado a ele ou ela!

Primeiro, a função de custo: que é a média do atributo e é o desvio padrão de . Para torná-lo mais curto: Agora, primeiro calculamos o valor de

$$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(y_{i}-\theta_{0}-\frac{X_{1}^{(i)}-\overline{X_1}}{\sigma_1}\theta_1-\frac{X_{2}^{(i)}-\overline{X_2}}{\sigma_2}\theta_2-...-\frac{X_{n}^{(i)}-\overline{X_n}}{\sigma_n}\theta_n)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}},$$ $\overline{X_j}$$X_{j}$$\sigma_j$$X_{j}$ $$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(y_{i}-\theta_{0}-\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$ $\theta_0$na expressão acima, definindo a derivada em relação a igual a zero. Como não possui , obtemos: Ou seja: Como (porque é o média do atributo ), agora temos$\theta_0$$\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$\theta_{0}$ $$\nabla_{ \theta_0}J(\theta)=-\sum_{i=1}^{m}(y_{i}-\theta_{0}-\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j)=0$$ $$\sum_{i=1}^{m}(y_{i}-\theta_{0})-\sum_{i=1}^{m}\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j=0$$ $$\sum_{i=1}^{m}\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j=0$$ $\overline{X_j}$$X_{j}$ $$\sum_{i=1}^{m}(y_{i}-\theta_{0})=0,$$ obviamente: $$\theta_0=\overline{y}=\frac{1}{m}\sum_{i=1}^{m}y^{(i)}$$

Portanto, a interceptação da regressão de crista padronizada de recurso é sempre . Portanto, se primeiro centralizarmos subtraindo sua média (get para o exemplo de dados ), não incluiremos todas as 1 colunas em e, em seguida, apresentaremos padronização em (get para do exemplo de dados ) , a função de custo será simplesmente Isso é $\overline{y}$$Y$$(y_i)^{'}$$i$$X$$X$$(X_j^{(i)})^{'}$$X_{j}$$i$

$$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}((y_{i})^{'}-\sum_{j=1}^{n}(X_j^{(i)})^{'}\theta_j)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$$ $$\nabla_{\theta}J(\theta)=\frac{1}{2}（X^{'}\theta-Y^{'}）^{T}（X^{'}\theta-Y^{'}）+\lambda(\theta)^{T}\theta,$$ onde , não tem toda uma coluna e padronizada de , é centrada em relação a . Agora (sem ) pode ser resolvido com: Para recursos padronizados, o modelo linear será em que $\theta=\left[ \begin{matrix} \theta_1 \\ \theta_2 \\ ...\\ \theta_n \end{matrix} \right]$$X^{'}$$X$$Y^{'}$$Y$$\theta$$\theta_0$ $$\theta=((X^{'})^TX^{'}+\lambda*I)^{-1}(X^{'})^TY^{'}$$ $$y=\overline{y}+\theta{_1}X_1^{'}+\theta{_2}X_2^{'}+...+\theta{_n}X_n^{'}---(1),$$ $$X_i^{'}=\frac{X_{i}-\overline{X_i}}{\sigma_i}---(2)$$ Se usarmos (2) em (1) como sugerido na resposta de Plasty Grove . Portanto, para dados de entrada de origem, o modelo linear será Isso é É por isso que, depois de resolvermos os coeficientes de recursos padronizados, retornar dados de entrada de coeficientes de origem (não padronizados recursos), devemos retornar
$$y=\overline{y}+\frac{X_{1}-\overline{X_1}}{\sigma_1}\theta_1+\frac{X_{2}-\overline{X_2}}{\sigma_2}\theta_2+...+\frac{X_{n}-\overline{X_n}}{\sigma_n}\theta_n$$ θi/σ $$y=\frac{\theta_1}{\sigma_1}X_1+\frac{\theta_2}{\sigma_2}X_2+...+\frac{\theta_n}{\sigma_n}X_n+\overline{y}-\frac{\overline{X_1}}{\sigma_1}\theta_1-\frac{\overline{X_2}}{\sigma_2}\theta_2-...-\frac{\overline{X_n}}{\sigma_n}\theta_n$$ $\theta_i/\sigma_i$