A regressão de ângulo mínimo mantém as correlações monotonicamente decrescentes e vinculadas?

Estou tentando resolver um problema para regressão de menor ângulo (LAR). Este é um problema 3.23 na página 97 de Hastie et al., Elements of Statistical Learning, 2nd. ed. (5ª impressão) .

Considere um problema de regressão com todas as variáveis ​​e respostas com média zero e desvio padrão um. Suponha também que cada variável tenha correlação absoluta idêntica com a resposta:

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p$

Seja o coeficiente de mínimos quadrados de em e deixe para . yXu(α)=αX β α∈[0,1$\hat{\beta}$$\mathbf{y}$$\mathbf{X}$$\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}$$\alpha\in[0,1]$

Me pedem para mostrar que estou tendo problemas com isso. Observe que isso pode basicamente dizer que as correlações de cada com os resíduos permanecem iguais em magnitude à medida que avançamos em direção a .xj

$$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = 1, ..., p$$ $x_j$$u$

Também não sei como mostrar que as correlações são iguais a:

$\lambda(\alpha) = \frac{(1-\alpha)}{\sqrt{(1-\alpha)^2 + \frac{\alpha (2-\alpha)}{N} \cdot RSS}} \cdot \lambda$

Qualquer ponteiro seria muito apreciado!

Este é o problema 3.23 na página 97 de Hastie et al., Elements of Statistical Learning , 2nd. ed. (5ª impressão) .

A chave para este problema é uma boa compreensão dos mínimos quadrados comuns (isto é, regressão linear), particularmente a ortogonalidade dos valores ajustados e dos resíduos.

Ortogonalidade lema : Let ser o matriz de design, o vector de resposta e os parâmetros (true). Assumindo que é de classificação completa (o que faremos ao longo), as estimativas de OLS de são . Os valores ajustados são . Então . Ou seja, os valores ajustados são ortogonais aos resíduos. Isto ocorre desde que .N × p y β X β β = ( X T X ) - 1 X T y y = X ( X T X ) - 1 X T y ⟨ y , y - y ⟩ = Y T ( y - y ) = 0 X T ( Y $X$$n \times p$$y$$\beta$$X$$\beta$$\hat{\beta} = (X^T X)^{-1} X^T y$$\hat{y} = X (X^T X)^{-1} X^T y$$\langle \hat{y}, y-\hat{y} \rangle = \hat{y}^T (y - \hat{y}) = 0$$X^T (y - \hat{y}) = X^T y - X^T X (X^T X)^{-1} X^T y = X^T y - X^T y = 0$

Agora, deixe ser um vector de coluna de modo a que é a ésima coluna de . As condições assumidas são:x j j $x_j$$x_j$$j$$X$

• j$\frac{1}{N} \langle x_j, x_j \rangle = 1$ para cada , ,$j$$\frac{1}{N} \langle y, y \rangle = 1$
• $\frac{1}{N} \langle x_j, 1_p \rangle = \frac{1}{N} \langle y, 1_p \rangle = 0$ que indica um vetor de comprimento , e$1_p$$p$
• $\frac{1}{N} | \langle x_j, y \rangle | = \lambda$ para todos .$j$

Observe que, em particular , a última instrução do lema da ortogonalidade é idêntica a para todos os .$\langle x_j, y - \hat{y} \rangle = 0$$j$

---

As correlações estão vinculadas

Agora, . Então, e o segundo termo no lado direito é zero pelo lema da ortogonalidade , então conforme desejado. O valor absoluto das correlações é apenas $u(\alpha) = \alpha X \hat{\beta} = \alpha \hat{y}$

$$\langle x_j, y - u(a) \rangle = \langle x_j, (1-\alpha) y + \alpha y - \alpha \hat{y} \rangle = (1-\alpha) \langle x_j, y \rangle + \alpha \langle x_j, y - \hat{y} \rangle ,$$ $$\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle | = (1-\alpha) \lambda ,$$ $$\hat{\rho}_j(\alpha) = \frac{\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle |}{\sqrt{\frac{1}{N} \langle x_j, x_j \rangle }\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }} = \frac{(1-\alpha)\lambda}{\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }}$$

Nota : O lado direito acima é independente de e o numerador é igual à covariância, pois assumimos que todos os 's e estão centralizados (portanto, em particular, nenhuma subtração da média é necessária )$j$$x_j$$y$

Qual é o objetivo? À medida que aumenta, o vetor de resposta é modificado, de modo que ele se aproxima da solução de mínimos quadrados ( restrita! ) Obtida da incorporação apenas dos primeiros parâmetros no modelo. Isso modifica simultaneamente os parâmetros estimados, pois são simples produtos internos dos preditores com o vetor de resposta (modificado). A modificação assume uma forma especial. Mantém a (magnitude das) correlações entre os preditores e a resposta modificada a mesma ao longo do processo (mesmo que o valor da correlação esteja mudando). Pense no que isso está fazendo geometricamente e você entenderá o nome do procedimento!$\alpha$$p$

---

Forma explícita da correlação (absoluta)

Vamos nos concentrar no termo no denominador, pois o numerador já está no formato necessário. Temos

$$\langle y - u(\alpha), y - u(\alpha) \rangle = \langle (1-\alpha) y + \alpha y - u(\alpha), (1-\alpha) y + \alpha y - u(\alpha) \rangle .$$

Substituindo em e usando a linearidade do produto interno, obtemos$u(\alpha) = \alpha \hat{y}$

$$\langle y - u(\alpha), y - u(\alpha) \rangle = (1-\alpha)^2 \langle y, y \rangle + 2\alpha(1-\alpha) \langle y, y - \hat{y} \rangle + \alpha^2 \langle y-\hat{y}, y-\hat{y} \rangle .$$

Observe aquilo

• $\langle y, y \rangle = N$ por suposição,
• $\langle y, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y} \rangle + \langle \hat{y}, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y}\rangle$ , aplicando o lema da ortogonalidade (mais uma vez) ao segundo termo no meio; e,
• $\langle y - \hat{y}, y - \hat{y} \rangle = \mathrm{RSS}$ por definição.

Juntando tudo isso, você notará que temos

$$\hat{\rho}_j(\alpha) = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 + \frac{\alpha(2-\alpha)}{N} \mathrm{RSS}}} = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 (1 - \frac{\mathrm{RSS}}{N}) + \frac{1}{N} \mathrm{RSS}}}$$

Para finalizar, e, portanto, fica claro que está monotonicamente diminuindo em e como . ρ j(α)α ρ j(α)↓0α↑$1 - \frac{\mathrm{RSS}}{N} = \frac{1}{N} (\langle y, y, \rangle - \langle y - \hat{y}, y - \hat{y} \rangle ) \geq 0$$\hat{\rho}_j(\alpha)$$\alpha$$\hat{\rho}_j(\alpha) \downarrow 0$$\alpha \uparrow 1$

---

Epílogo : concentre-se nas idéias aqui. Existe realmente apenas um. O lema da ortogonalidade faz quase todo o trabalho para nós. O resto é apenas álgebra, notação e a capacidade de colocar esses dois últimos em funcionamento.