Computando erros padrão para problemas de regressão linear sem calcular inverso

Existe uma maneira mais rápida de calcular erros padrão para problemas de regressão linear do que invertendo ? Aqui presumo que tenhamos regressão: $X'X$

y = X β + ε,

$y=X\beta+\varepsilon,$

onde é matriz e é vetor. $X$ $n\times k$ $y$ $n\times 1$

Para encontrar a solução do problema dos mínimos quadrados, não é prático fazer qualquer coisa com , você pode usar decomposições QR ou SVD na matriz diretamente. Ou, como alternativa, você pode usar métodos de gradiente. Mas e os erros padrão? Nós realmente precisamos apenas da diagonal de (e naturalmente da solução LS para calcular a estimativa do erro padrão de ). Existem métodos específicos para o cálculo de erros padrão? $X'X$ $X$ $(X'X)^{-1}$ $\varepsilon$

linear-algebra optimization mpiktas
fonte

Respostas:

$X$

X = U Σ V^{'},

$X = U\Sigma V',$

$U$ $V$ $\Sigma$

Então

X^{'} X = V Σ^{2} V^{'} .

$X'X = V \Sigma^2 V'.$

$(X'X)^{-1}$ $X$

(X^{'} X)^{- 1} = V Σ^{- 2} V^{'} .

$(X'X)^{-1} = V \Sigma^{-2} V'.$

(Veja uma resposta que dei a uma pergunta relacionada no Math.SE. )

$\Sigma$ $V$ $(X'X)^{-1}$ $n$ $n \times n$ $n^2$ $\mathcal{O}(n^{3})$

$X'X$ $X$

Geoff Oxberry
fonte

+1, esqueci aquela bela propriedade SVD. Se não houver outras respostas, eu aceito essa resposta, já que é bem próxima da que eu queria obter (e certamente magnitudes melhores do que aquela que eu esperava obter :))

mpiktas 20/02/2012

(X^{'} X)^{- 1}

$(X'X)^{-1}$

O (n^{2})

$\mathcal{O}(n^2)$

X

$X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

Σ

$\Sigma$

Ignore o último comentário, há um erro lá. Eu tenho a fórmula correta embora.

Mvctas