Para meu próprio entendimento, estou interessado em replicar manualmente o cálculo dos erros padrão dos coeficientes estimados, pois, por exemplo, vêm com a saída da lm()
função R
, mas não consegui defini-la. Qual é a fórmula / implementação usada?
r
regression
standard-error
lm
ako
fonte
fonte
Respostas:
O modelo linear é escrito como onde denota o vetor de respostas, é o vetor de parâmetros de efeitos fixos, é a matriz de design correspondente cujas colunas são os valores das variáveis explicativas e é o vetor de erros aleatórios. y β X ε
É sabido que uma estimativa de é fornecida por (consulte, por exemplo, o artigo da wikipedia ) Portanto, [lembrete: , para algum vetor aleatório e alguma matriz não aleatória ]p = ( X ' x ) - 1 X ' y . Var ( β ) = ( X ' x ) - 1 X 'β
para que onde pode ser obtido pelo Mean Square Error (MSE) na tabela ANOVA. σ 2
Exemplo com uma regressão linear simples em R
Quando existe uma única variável de motivos, o modelo reduz a e para que e as fórmulas se tornam mais transparentes. Por exemplo, o erro padrão da inclinação estimada é
fonte
lm.fit
/summary.lm
é um pouco diferente, para a estabilidade e eficiência ...As fórmulas para essas podem ser encontradas em qualquer texto intermediário sobre estatística, em particular, você pode encontrá-las em Sheather (2009, capítulo 5) , de onde também é realizado o exercício a seguir (página 138).
O código R a seguir calcula as estimativas de coeficiente e seus erros padrão manualmente
que produz a saída
Compare com a saída de
lm()
:que produz a saída:
fonte
solve()
função. Isso seria um pouco mais longo sem a álgebra matricial. Existe uma maneira sucinta de executar essa linha específica apenas com operadores básicos?Parte da resposta de Ocram está errada. Na realidade:
E o comentário da primeira resposta mostra que é necessária mais explicação da variação do coeficiente:
Editar
Obrigado, eu ignorei o chapéu nessa versão beta. A dedução acima é . O resultado correto é:wrongly wrong
1.(Para obter essa equação, defina a derivada de primeira ordem de em igual a zero, para maximizar )β^=(X′X)−1X′y. SSR β SSR
2.E(β^|X)=E((X′X)−1X′(Xβ+ϵ)|X)=β+((X′X)−1X′)E(ϵ|X)=β.
3.Var(β^)=E(β^−E(β^|X))2=Var((X′X)−1X′ϵ)=(X′X)−1X′σ2IX(X′X)−1=σ2(X′X)−1
Espero que ajude.
fonte