Regressão sem interceptar: decorrentes

8

Em Introdução à aprendizagem estatística (James et al.), Na seção 3.7, exercício 5, afirma que a fórmula para assumindo regressão linear sem interceptação é que e são as estimativas usuais no OLS para regressão linear simples ( ). β 1= n Σ i = 1 x i y iβ^1p0=ˉy-β1ˉxβ1=Sxy

β^1=i=1nxiyii=1nxi2,
β^0=y¯β^1x¯ Sxy= n i=1(xi- ˉ x )(yi- ˉ y )β^1=SxySxxSxy=i=1n(xix¯)(yiy¯)

Este não é o exercício real ; Estou apenas querendo saber como derivar a equação. Sem usar álgebra matricial , como derivá-lo?

Minha tentativa: com , temos . β 1= ˉ yβ^0=0β^1=y¯x¯=SxySxx

Após alguma álgebra, pode-se mostrar que e . A partir daqui, eu estou preso. S x x = n i = 1 x 2 i - n ˉ x 2Sxy=i=1nxi2nx¯y¯Sxx=i=1nxi2nx¯2

Clarinetist
fonte
1
A fórmula é imediata a partir da interpretação geométrica dos mínimos quadrados , usandocomo um "correspondente" para e reconhecendo a fórmula para como sendo. y ( β 1 ) x ( y ( x / | | x | | ) ) x / | | x | |x/||x||y(β^1)x(y(x/||x||))x/||x||
whuber
@whuber: Em vez de escrever eu escreveriaSe isso não for notável o suficiente para você, considere a diferença tipográfica entre codificado como || x || || y || e codificado como \ | x \ | \ | y \ |. x/||x||,| | x | | | | y | | , " X " " e " ,x/x.||x||||y||,xy,
Michael Hardy

Respostas:

15

Isso é direto na definição de Mínimos Quadrados Ordinários. Se não houver interceptação, alguém está minimizando . Como é suave como uma função de , todos os mínimos (ou máximos) ocorrem quando a derivada é zero. Diferenciando em relação a , obtemos . Resolver para fornece a fórmula. β β - i = n i = 1 2 ( y i - β x i ) x i βR(β)=i=1i=n(yiβxi)2ββi=1i=n2(yiβxi)xiβ

meh
fonte