A forma fechada de w na regressão linear pode ser escrita como
Como podemos explicar intuitivamente o papel de nessa equação?
A forma fechada de w na regressão linear pode ser escrita como
Como podemos explicar intuitivamente o papel de nessa equação?
Respostas:
Achei essas postagens particularmente úteis:
Como derivar o estimador de mínimos quadrados para regressão linear múltipla?
Relação entre SVD e PCA. Como usar o SVD para executar o PCA?
http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf
Se é uma matriz, em seguida, a matriz define uma projecção para o espaço de coluna de . Intuitivamente, você tem um sistema de equações sobredeterminado, mas ainda deseja usá-lo para definir um mapa linear que mapeie as linhas de para algo próximo aos valores , . Então, decidimos enviar para a coisa mais próxima de que pode ser expressa como uma combinação linear de seus recursos (as colunas de ). n × p X ( X T X ) - 1 X T X R p → R x i X y i i ∈ { 1 , … , n } X y XX n × p X( XTX)- 1XT X Rp→ R xEu X yEu i ∈ { 1 , ... , n } X y X
Quanto à interpretação de , ainda não tenho uma resposta incrível. Eu sei que você pode pensar em como sendo basicamente a matriz de covariância do conjunto de dados. ( X T X )( XTX)- 1 ( XTX)
fonte
Ponto de vista geométrico
Um ponto de vista geométrica pode ser como as n-dimensional vectores e sendo em pontos n-dimensional no espaço . Onde também está no subespaço abrangido pelos vetores .X β V X β Wy Xβ V Xβ^ W x1,x2,⋯,xm
Dois tipos de coordenadas
Para este subespaço , podemos imaginar dois tipos diferentes de coordenadas :W
Oα não são coordenadas no sentido de regular, mas eles definir um ponto no subespaço . Cada refere-se às projeções perpendiculares nos vetores . Se usarmos vetores unitários (para simplificar), as "coordenadas" para um vetor podem ser expressas como:α i x i x i α i zW αi xi xi αi z
e o conjunto de todas as coordenadas como:
Mapeamento entre coordenadas eα β
para a expressão de "coordenadas" se torna uma conversão de coordenadas para "coordenadas"z=Xβ α β α
Você pode ver expressando quanto cada projeta no outro(XTX)ij xi xj
Então a interpretação geométrica de pode ser vista como o mapa da projeção vetorial "coordenadas" até coordenadas lineares .(XTX)−1 α β
A expressão fornece a projeção "coordenadas" de e transforma em .y ( XXTy y (XTX)−1 β
Nota : as "coordenadas" da projeção de são as mesmas que as "coordenadas" da projeção de desde .y ( y - y ) ⊥ Xy y^ (y−y^)⊥X
fonte
Supondo que você esteja familiarizado com a regressão linear simples: e sua solução : β =
É fácil ver como corresponde ao numerador acima e mapeia o denominador. Como estamos lidando com matrizes, a ordem é importante. é a matriz KxK e é o vetor Kx1. Portanto, a ordem é:X ′ X X ′ X X ′ y ( X ′ X ) - 1 X ′ yX′y X′X X′X X′y (X′X)−1X′y
fonte