Como um vetor de variáveis representa um hiperplano?

Estou lendo Elementos de aprendizagem estatística e na página 12 (seção 2.3) um modelo linear é anotado como:

\hat{Y} = X^{T} \hat{β}

$\widehat{Y} = X^{T} \widehat{\beta}$

... onde é a transposição de um vetor de coluna dos preditores / variáveis independentes / entradas. (Ele afirma anteriormente "todos os vetores são considerados vetores de coluna", portanto isso não tornaria um vetor de linha e um vetor de coluna?) $X^{T}$ $X^{T}$ $\widehat{\beta}$

Incluído em está um " " a ser multiplicado pelo coeficiente correspondente, dando a interceptação (constante). $X$ $1$

Continua dizendo:

No espaço de entrada-saída dimensional , representa um hiperplano. Se a constante estiver incluída em , o hiperplano inclui a origem e é um subespaço; caso contrário, é um conjunto afiado que corta o eixo no ponto . $(p + 1)$ $(X,\ \widehat{Y})$ $X$ $Y$ $(0,\ \widehat{\beta_0})$

" " descreve um vetor formado pela concatenação dos preditores, o intercepto é " " e ? E por que incluir um " " em força o hiperplano a passar pela origem, certamente que " " deve ser multiplicado por ? $(X,\ \widehat{Y})$ $1$ $\widehat{Y}$ $1$ $X$ $1$ $\widehat{\beta_0}$

Estou falhando em entender o livro; qualquer ajuda / conselho / links para recursos seria muito apreciada.

regression references statistical-learning Scott
fonte

Pode ajudar a considerar primeiro. Nesse caso, , com a interceptação. Esta é a equação de uma linha que passa por . Extensões para dimensões mais altas são imediatas.

p = 1

$p = 1$

\hat{y} = {\hat{β}}_{0} + x \hat{β}

$\hat{y} = \hat{\beta}_0 + x \hat{\beta}$

β_{0}

$\beta_0$

(0, {\hat{β}}_{0})

$(0, \hat{\beta}_0)$

Ocram 29/03

Se a ajuda do @ocram não for suficiente, tente escrever os vetores e fazer a multiplicação.

Peter Flom - Restabelece Monica

Aqui está uma boa apresentação gráfica: blog.stata.com/2011/03/03/… . A notação é diferente: A existe o seu X e x é .

\hat{β}

$\hat \beta$

Dimitriy V. Masterov

O livro está errado, ou pelo menos é inconsistente. Evidentemente, existem variáveis não incluem a constante. Portanto, o conjunto é realmente um hiperplano, mas é incorreto dizer que a constante está "incluída em ". Em vez disso eu acho que o livro destina-se a dizer que a constante é incluída na regressão , mas ainda não deve ser considerado parte de . Portanto, o modelo realmente deve ser escrito onde . Definir imediatamente fornece a afirmação sobre a interceptação.

p

$p$

{(X, \hat{Y}) | X \in R^{p}}

$\{(X,\hat{Y})|X\in\mathbb{R}^p\}$

X

$X$

X

$X$

\hat{Y} = {\hat{β}}_{0} + X^{'} \hat{β}

$\hat{Y}=\hat\beta_0 + X'\hat\beta$

β = (β_{1}, β_{2}, \dots, β_{p})^{'}

$\beta=(\beta_1,\beta_2,\ldots,\beta_p)'$

X = 0

$X=0$

whuber

(Se, em vez disso, incluímos a constante em , não podemos permitir que varie livremente sobre todos os : ele é restrito a ficar dentro de um subespaço dimensional . O gráfico , em seguida, tem codimensão pelo menos e por isso não é realmente a) "hiperplano."

X

$X$

X

$X$

R^{p}

$\mathbb{R}^p$

p - 1

$p-1$

{(X, \hat{Y})}

$\{(X,\hat Y)\}$

2

$2$

whuber

Respostas:

Seja o número de observações e o número de variáveis explicativas. $N$ $K$

$X$ é realmente uma matrizSomente quando olhamos para uma única observação, denotamos cada observação geralmente como - um vetor de linha de variáveis explicativas de um escalar de observação específico multiplicado pelo vetor coluna . Além disso, é um vetor de coluna , contendo todas as observações . $N\!\times\!K$ $x_i^T$ $K\!\times\!1$ $\beta$ $Y$ $N\!\times\!1$ $Y_n$

Agora, um hiperplana bidimensional que abrangem entre o vector e um (!) De vector de coluna . Lembre-se que é um matriz, de modo que cada variável explicativa é representada por exatamente um vector da matriz coluna . Se tiver apenas uma variável explicativo, sem interceptar e , todos os pontos de dados estão situados ao longo do plano dimensional 2 gerado por e . $Y$ $X$ $X$ $N\!\times\!K$ $X$ $Y$ $Y$ $X$

Para uma regressão múltipla, quantas dimensões no total o hiperplano entre e a matriz possui? Resposta: Como temos vetores de coluna de variáveis explicativas em , devemos ter um hiperplano dimensional . $Y$ $X$ $K$ $X$ $K\!+\!1$

Geralmente, em uma configuração de matriz, a regressão requer que uma interceptação constante seja imparcial para uma análise razoável do coeficiente de inclinação. Para acomodar esse truque, forçamos uma coluna da matriz a consistir apenas de " s". Nesse caso, o estimador fica sozinho multiplicado por uma constante para cada observação, em vez de uma variável explicativa aleatória. O coeficiente representa, portanto, o valor esperado de dado que é mantido fixo com o valor 1 e todas as outras variáveis são zero. Portanto, o hiperplano -Dimensional é reduzido por uma dimensão a um subespaço dimensional e $X$ $1$ $\beta_1$ $\beta_1$ $Y$ $x_{1i}$ $K\!+\!1$ $K$ $\beta_1$ corresponde à "interceptação" deste plano dimensional $K$

Em configurações de matriz, é sempre aconselhável dar uma olhada no caso simples de duas dimensões, para ver se podemos encontrar uma intuição para nossos resultados. Aqui, a maneira mais fácil é pensar na regressão simples com duas variáveis explicativas: ou expressa alternativamente na álgebra matricial: onde é um matriz.

y_{i} = β_{1} x_{1 i} + β_{2} x_{2 i} + u_{i}

$y_i=\beta_1x_{1i} + \beta_2x_{2i} +u_i$

Y = X β + u

$Y=X\beta +u$

X

$X$

N \times 2

$N\!\times\!2$

$<Y,X>$ abrange um hiperplano tridimensional.

Agora, se todos como todos os , obteremos: que é a nossa regressão simples usual que pode ser representada em um gráfico bidimensional . Observe que agora está reduzido a uma linha bidimensional - um subconjunto do hiperplano original tridimensional. O coeficiente corresponde à interceptação do corte de linha em . $x_1$ $1$

y_{i} = β_{1 i} + β_{2} x_{2 i} + u_{i}

$y_i=\beta_{1i} + \beta_2x_{2i} + u_i$

X, Y

$X,\ Y$

< Y, X >

$<Y,X>$

β_{1}

$\beta_1$

x_{2 i} = 0

$x_{2i}=0$

Também pode ser mostrado que ele também passa por para quando a constante é incluída . Se deixarmos de fora a constante, o hiperplano de regressão sempre passa trivialmente por - sem dúvida. Isso generaliza para várias dimensões, como será visto mais adiante ao derivar : Como possui uma classificação completa por definição, e, portanto, a regressão passa pela origem se deixarmos de fora a interceptação. $<0,\beta_1>$ $<0,0>$ $\beta$

(X^{'} X) β = X^{'} y ⟹ (X^{'} X) β - X^{'} y = 0 ⟹ X^{'} (y - X β) = 0.

$(X'X)\beta=X'y \implies (X'X)\beta-X'y=0 \implies X'(y-X\beta)=0.$

X

$X$

y - X β = 0

$y-X\beta=0$

( Edit: Acabei de perceber que, para sua segunda pergunta, é exatamente o oposto de você escrever sobre a inclusão ou exclusão da constante. No entanto, eu já desenvolvi a solução aqui e permaneço corrigido se estiver errado nessa. )

Eu sei que a representação matricial de uma regressão pode ser bastante confusa no início, mas eventualmente simplifica muito quando deriva de álgebra mais complexa. Espero que isso ajude um pouco.

Majte
fonte

Eu acho que a maneira de pensar é reorganizar essa equação:

\hat{Y} - X^{T} \hat{β} = 0

$\widehat{Y} - X^{T} \widehat{\beta} = 0$

A única maneira de obter essa equação linear para incluir a origem é tornar o previsto igual à interceptação. E a maneira de estimar esse valor é incluir um termo de interceptação no modelo de regressão.

\hat{Y}

$\widehat{Y}$

DWin
fonte

Como um vetor de variáveis ​​representa um hiperplano?

Respostas:

Como um vetor de variáveis representa um hiperplano?