Intuição atrás de na forma fechada de w em Regressão Linear

10

A forma fechada de w na regressão linear pode ser escrita como

w^=(XTX)1XTy

Como podemos explicar intuitivamente o papel de nessa equação?(XTX)1

Darshak
fonte
2
Você poderia elaborar o que você quer dizer com "intuitivamente"? Por exemplo, há uma explicação maravilhosamente intuitiva em termos de espaços de produtos internos, apresentada nas respostas planas de Christensen às perguntas complexas, mas nem todos apreciarão essa abordagem. Como outro exemplo, há uma explicação geométrica na minha resposta em stats.stackexchange.com/a/62147/919 , mas nem todo mundo vê as relações geométricas como "intuitivas".
whuber
Intuitivamente, é como o que $ (X ^ TX) ^ {- 1} significa? É algum tipo de cálculo de distância ou algo assim, eu não entendo.
Darshak
11
Isso está totalmente explicado na resposta à qual vinculei.
whuber
Esta pergunta já existe aqui, embora possivelmente não com uma resposta satisfatória math.stackexchange.com/questions/2624986/…
Sextus

Respostas:

5

Achei essas postagens particularmente úteis:

Como derivar o estimador de mínimos quadrados para regressão linear múltipla?

Relação entre SVD e PCA. Como usar o SVD para executar o PCA?

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

Se é uma matriz, em seguida, a matriz define uma projecção para o espaço de coluna de . Intuitivamente, você tem um sistema de equações sobredeterminado, mas ainda deseja usá-lo para definir um mapa linear que mapeie as linhas de para algo próximo aos valores , . Então, decidimos enviar para a coisa mais próxima de que pode ser expressa como uma combinação linear de seus recursos (as colunas de ). n × p X ( X T X ) - 1 X T X R pR x i X y i i { 1 , , n } X y XXn×pX(XTX)1XTXRpRxiXyii{1,,n}XyX

Quanto à interpretação de , ainda não tenho uma resposta incrível. Eu sei que você pode pensar em como sendo basicamente a matriz de covariância do conjunto de dados. ( X T X )(XTX)1(XTX)

James McKeown
fonte
(XTX) é muitas vezes referida como uma "matriz de dispersão" e é apenas uma versão ampliada da matriz de covariância
JacKeown
4

Ponto de vista geométrico

Um ponto de vista geométrica pode ser como as n-dimensional vectores e sendo em pontos n-dimensional no espaço . Onde também está no subespaço abrangido pelos vetores .X β V X β WyXβVXβ^Wx1,x2,,xm

projeção

Dois tipos de coordenadas

Para este subespaço , podemos imaginar dois tipos diferentes de coordenadas :W

  • Oβ são como coordenadas para um espaço regular de coordenadas. O vetor no espaço é a combinação linear dos vetoresW x i z = β 1 x 1 + β 2 x 1 + . . . . β m x mzWxi
    z=β1x1+β2x1+....βmxm
  • Oα não são coordenadas no sentido de regular, mas eles definir um ponto no subespaço . Cada refere-se às projeções perpendiculares nos vetores . Se usarmos vetores unitários (para simplificar), as "coordenadas" para um vetor podem ser expressas como:α i x i x i α i zWαixixiαiz

    αi=xiTz

    e o conjunto de todas as coordenadas como:

α=XTz

Mapeamento entre coordenadas eαβ

para a expressão de "coordenadas" se torna uma conversão de coordenadas para "coordenadas"z=Xβαβα

α=XTXβ

Você pode ver expressando quanto cada projeta no outro(XTX)ijxixj

Então a interpretação geométrica de pode ser vista como o mapa da projeção vetorial "coordenadas" até coordenadas lineares .(XTX)1αβ

β=(XTX)1α

A expressão fornece a projeção "coordenadas" de e transforma em .y ( XXTyy(XTX)1β


Nota : as "coordenadas" da projeção de são as mesmas que as "coordenadas" da projeção de desde .y ( y - y ) Xy y^(yy^)X

Sextus Empiricus
fonte
Uma conta muito semelhante ao tópico stats.stackexchange.com/a/124892/3277 .
ttnphns
De fato muito parecido. Para mim, essa visão é muito nova e eu tive que tirar uma noite para pensar sobre isso. Eu sempre vi regressão de mínimos quadrados em termos de projeção, mas, neste ponto de vista, nunca tentei perceber um significado intuitivo para a parte ou sempre o vi na expressão mais indireta . X T y= X T Xβ(XTX)1XTy=XTXβ
Sextus Empiricus
3

Supondo que você esteja familiarizado com a regressão linear simples: e sua solução : β =

yi=α+βxi+εi
β=cov[xi,yi]var[xi]

É fácil ver como corresponde ao numerador acima e mapeia o denominador. Como estamos lidando com matrizes, a ordem é importante. é a matriz KxK e é o vetor Kx1. Portanto, a ordem é:X X X X X y ( X X ) - 1 X yXyXXXXXy(XX)1Xy

Aksakal
fonte
Mas essa analogia em si não diz se você se pré ou pós multiplicam com o inverso.
Kjetil b halvorsen
@kjetilbhalvorsen, eu coloquei a ordem das operações
Aksakal