Prova da fórmula LOOCV

De Uma Introdução à Aprendizagem Estatística de James et al., A estimativa de validação cruzada de saída única (LOOCV) é definida por que .

{cv}_{(n)} = \frac{1}{n} \sum_{Eu = 1}^{n} {MSE}_{Eu}

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i$

{MSE}_{i} = (y_{i} - {\hat{y}}_{i})^{2}

$\text{MSE}_i = (y_i-\hat{y}_i)^2$

Sem prova, a equação (5.2) afirma que, para mínimos quadrados ou regressão polinomial (se isso se aplica à regressão em apenas uma variável é desconhecida para mim), onde " está o o valor ajustado do ajuste dos mínimos quadrados originais ( não faço ideia do que isso significa, a propósito , significa usar todos os pontos no conjunto de dados?) e é a alavancagem "definida por

{cv}_{(n)} = \frac{1}{n} \sum_{Eu = 1}^{n} {(\frac{y_{Eu} - {\hat{y}}_{Eu}}{1 - h_{Eu}})}^{2}

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\left(\dfrac{y_i - \hat{y}_i}{1-h_i}\right)^2$

{\hat{y}}_{i}

$\hat{y}_i$

i

$i$

h_{i}

$h_i$

h_{Eu} = \frac{1}{n} + \frac{(x_{Eu} - \bar{x})^{2}}{\sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}} .

$h_i = \dfrac{1}{n}+\dfrac{(x_i - \bar{x})^2}{\sum\limits_{j=1}^{n}(x_j - \bar{x})^2}\text{.}$

Como alguém prova isso?

Minha tentativa: pode-se começar observando que mas separados disso (e se bem me lembro, essa fórmula para é verdadeira apenas para regressão linear simples ...), não tenho certeza de como proceder a partir daqui.

{\hat{y}}_{Eu} = β_{0 0} + \sum_{Eu = 1}^{k} β_{k} X_{k} + alguns termos polinomiais de grau \geq 2

$\hat{y}_i = \beta_0 + \sum\limits_{i=1}^{k}\beta_k X_k + \text{some polynomial terms of degree }\geq 2$

h_{i}

$h_i$

regression self-study cross-validation least-squares Clarinetist
fonte

Suas equações parecem usar para mais de uma coisa ou estou muito confuso. De qualquer maneira, uma clareza adicional seria boa.

i

$i$

Glen_b -Reinstala Monica

@Glen_b Acabei de aprender sobre o LOOCV ontem, então talvez eu não entenda algumas coisas corretamente. Pelo que entendi, você tem um conjunto de pontos de dados, digamos . Com LOOCV, você tem para cada fixo (número inteiro positivo) algum conjunto de validação e um conjunto de testes usado para gerar um modelo ajustado para cada . Por exemplo, digamos, ajustamos nosso modelo usando regressão linear simples com três pontos de dados, . Teríamos (para ser continuado) #

X = {(x_{i}, y_{i}) : i \in Z^{+}}

$\mathcal{X} = \{(x_i, y_i): i \in \mathbb{Z}^+\}$

k

$k$

V_{k} = {(x_{k}, y_{k})}

$\mathcal{V}_k = \{(x_k, y_k)\}$

T_{k} = X ∖ V_{k}

$\mathcal{T}_k = \mathcal{X}\setminus \mathcal{V}_k$

k

$k$

X = {(0, 1), (1, 2), (2, 3)}

$\mathcal{X} = \{(0, 1), (1, 2), (2,3)\}$

Clarinetist

@Glen_b e . Usando os pontos em , podemos descobrir que, usando uma regressão linear simples, obtemos o modelo . Em seguida, calculamos o usando como o conjunto de validação e obtemos (apenas usando o ponto fornecido) e , fornecendo . Ok, talvez usar o sobrescrito não tenha sido a melhor ideia - vou mudar isso no post original.

V_{1} = {(0, 1)}

$\mathcal{V}_1 = \{(0, 1)\}$

T_{1} = {(1, 2), (2, 3)}

$\mathcal{T}_1 = \{(1, 2), (2, 3)\}$

T_{1}

$\mathcal{T}_1$

{\hat{y}}_{i} = X + 1

$\hat{y}_i = X + 1$

MSE

$\text{MSE}$

V_{1}

$\mathcal{V}_1$

y_{1} = 1

$y_1 = 1$

{\hat{y}}_{1}^{(1)} = 0 + 1 = 1

$\hat{y}_1^{(1)} = 0 + 1 = 1$

{MSE}_{1} = 0

$\text{MSE}_1 = 0$

Clarinetist

aqui estão algumas notas de aula sobre a derivação pages.iu.edu/~dajmcdon/teaching/2014spring/s682/lectures/...

Xavier Bourret Sicotte

Mostrarei o resultado para qualquer regressão linear múltipla, independentemente de os regressores serem polinômios de . De fato, mostra um pouco mais do que você solicitou, porque mostra que cada residual LOOCV é idêntico ao resíduo ponderado por alavancagem correspondente da regressão completa, não apenas que você pode obter o erro LOOCV como em (5.2) (existe pode haver outras maneiras pelas quais as médias concordam, mesmo que nem cada termo na média seja o mesmo). $X_t$

Deixe-me tomar a liberdade de usar notação ligeiramente adaptada.

Primeiro mostramos que onde é a estimativa usando todos os dados e a estimativa ao deixar de fora , observação . Seja definido como um vetor de linha tal que . são os resíduos.

\begin{aligned} \hat{β} - {\hat{β}}_{(t)} & = (\frac{{\hat{você}}_{t}}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'}, (UMA) \end{aligned}

$\begin{align*} \hat\beta-\hat\beta_{(t)}&=\left(\frac{\hat u_t}{1-h_t}\right)(X'X)^{-1}X_t', \quad\quad \textrm{(A)} \end{align*}$

\hat{β}

$\hat\beta$

{\hat{β}}_{(t)}

$\hat\beta_{(t)}$

X_{(t)}

$X_{(t)}$

t

$t$

X_{t}

$X_t$

{\hat{y}}_{t} = X_{t} \hat{β}

$\hat y_t=X_t\hat\beta$

{\hat{u}}_{t}

$\hat u_t$

A prova usa o seguinte resultado algébrico da matriz.

Seja uma matriz não singular, um vetor e um escalar. Se Então $A$ $b$ $\lambda$

\begin{aligned} λ & \neq - \frac{1}{b^{'} {UMA}^{- 1} b} \end{aligned}

$\begin{align*} \lambda&\neq -\frac{1}{b'A^{-1}b} \end{align*}$

\begin{aligned} (UMA + λ b b^{'})^{- 1} & = {UMA}^{- 1} - (\frac{λ}{1 + λ b^{'} {UMA}^{- 1} b}) {UMA}^{- 1} b b^{'} {UMA}^{- 1} (B) \end{aligned}

$\begin{align*} (A+\lambda bb')^{-1}&=A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\quad\quad \textrm{(B) }\end{align*}$

A prova de (B) segue imediatamente da verificação

\begin{aligned} {{UMA}^{- 1} - (\frac{λ}{1 + λ b^{'} {UMA}^{- 1} b}) {UMA}^{- 1} b b^{'} {UMA}^{- 1}} (UMA + λ b b^{'}) = Eu . \end{aligned}

$\begin{align*} \left\{A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\right\}(A+\lambda bb')=I. \end{align*}$

O seguinte resultado é útil para provar (A)

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} = (\frac{1}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'} . (C) \end{aligned}

$\begin{align} (X_{(t)}'X_{(t)})^{-1}X_t'=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'.\quad\quad \textrm{ (C)} \end{align}$

Prova de (C): Por (B), temos, usando , Então, encontramos $\sum_{t=1}^TX_t'X_t=X'X$

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} & = (X^{'} X - X_{t}^{'} X_{t})^{- 1} \\ = (X^{'} X)^{- 1} + \frac{(X^{'} X)^{- 1} X_{t}^{'} X_{t} (X^{'} X)^{- 1}}{1 - X_{t} (X^{'} X)^{- 1} X_{t}^{'}} . \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}&=(X'X-X_t'X_t)^{-1}\\ &=(X'X)^{-1}+\frac{(X'X)^{-1}X_t'X_t(X'X)^{-1}}{1-X_t(X'X)^{-1}X_t'}. \end{align*}$

\begin{aligned} (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} & = (X^{'} X)^{- 1} X_{t}^{'} + (X^{'} X)^{- 1} X_{t}^{'} (\frac{X_{t} (X^{'} X)^{- 1} X_{t}^{'}}{1 - X_{t} (X^{'} X)^{- 1} X_{t}^{'}}) \\ = (\frac{1}{1 - h_{t}}) (X^{'} X)^{- 1} X_{t}^{'} . \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}X_t'&=(X'X)^{-1}X_t'+(X'X)^{-1}X_t'\left(\frac{X_t(X'X)^{-1}X_t'}{1-X_t(X'X)^{-1}X_t'}\right)\\ &=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'. \end{align*}$

A prova de (A) agora segue de (C): Como , temos ou Então, em que a última igualdade segue de (C).

\begin{aligned} X^{'} X \hat{β} & = X^{'} y, \end{aligned}

$\begin{align*} X'X\hat\beta&=X'y, \end{align*}$

\begin{aligned} (X_{(t)}^{'} X_{(t)} + X_{t}^{'} X_{t}) \hat{β} & = X_{(t)}^{'} y_{(t)} + X_{t}^{'} y_{t}, \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)}+X_t'X_t)\hat\beta &=X_{(t)}'y_{(t)}+X_t' y_t, \end{align*}$

\begin{aligned} {{Eu}_{k} + (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} X_{t}} \hat{β} & = {\hat{β}}_{(t)} + (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} (X_{t} \hat{β} + {\hat{você}}_{t}) . \end{aligned}

$\begin{align*} \left\{I_k+(X_{(t)}'X_{(t)})^{-1}X_t'X_t\right\}\hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'(X_t\hat\beta+\hat u_t). \end{align*}$

\begin{aligned} \hat{β} & = {\hat{β}}_{(t)} + (X_{(t)}^{'} X_{(t)})^{- 1} X_{t}^{'} {\hat{você}}_{t} \\ = {\hat{β}}_{(t)} + (X^{'} X)^{- 1} X_{t}^{'} \frac{{\hat{você}}_{t}}{1 - h_{t}}, \end{aligned}

$\begin{align*} \hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'\hat u_t\\ &=\hat\beta_{(t)}+(X'X)^{-1}X_t'\frac{\hat u_t}{1-h_t}, \end{align*}$

Agora, observe . Multiplique em (A) por , adicione em ambos os lados e reorganize para obter, com os resíduos resultantes do uso de ( ), ou $h_t=X_t(X'X)^{-1}X_t'$ $X_t$ $y_t$ $\hat u_{(t)}$ $\hat\beta_{(t)}$ $y_t-X_t\hat\beta_{(t)}$

{\hat{você}}_{(t)} = {\hat{você}}_{t} + (\frac{{\hat{você}}_{t}}{1 - h_{t}}) h_{t}

$\hat u_{(t)}=\hat u_t+\left(\frac{\hat u_t}{1-h_t}\right)h_t$

{\hat{você}}_{(t)} = \frac{{\hat{você}}_{t} (1 - h_{t}) + {\hat{você}}_{t} h_{t}}{1 - h_{t}} = \frac{{\hat{você}}_{t}}{1 - h_{t}}

$\hat u_{(t)}=\frac{\hat u_t(1-h_t)+\hat u_th_t}{1-h_t}=\frac{\hat u_t}{1-h_t}$

Christoph Hanck
fonte

A definição para está ausente na sua resposta. Presumo que esta seja uma matriz com a linha removida.

X_{(t)}

$X_{(t)}$

X

$X$

X_{t}

$X_t$

Mpgtas

Também mencionando o fato de que também seria útil.

X^{'} X = \sum_{t = 1}^{T} X_{t}^{'} X_{t}

$X'X=\sum_{t=1}^T X_t'X_t$

Mpgtas

@mpiktas, sim, obrigado pelos ponteiros. Eu editei para levar o primeiro comentário em consideração. Onde exatamente o segundo ajudaria? Ou deixe no seu comentário?

Christoph Hanck

Ao iniciar a prova de (C), você escreve . Esse é um bom truque, mas duvido que o leitor casual esteja ciente disso.

(X_{(t)}^{'} X_{(t)})^{- 1} = (X^{'} X - X_{t}^{'} X_{t})^{- 1}

$(X_{(t)}'X_{(t)})^{-1}=(X'X-X_t'X_t)^{-1}$

precisa saber é o seguinte

Dois anos depois ... Agradeço ainda mais essa resposta, agora que passei por uma sequência de modelos lineares em nível de pós-graduação. Estou reaprendendo este material com essa nova perspectiva. Você tem referências sugeridas (livros didáticos?) Que passam por derivações como as que você tem nesta resposta em detalhes?

Clarinetist

Prova da fórmula LOOCV

Respostas: