Por que uma distribuição T usada para testar hipóteses é um coeficiente de regressão linear?

Na prática, o uso de um teste T padrão para verificar a significância de um coeficiente de regressão linear é prática comum. A mecânica do cálculo faz sentido para mim.

Por que a distribuição T pode ser usada para modelar a estatística de teste padrão usada no teste de hipótese de regressão linear? Estatística de teste padrão a que me refiro aqui:

Para entender por que usamos a distribuição t, você precisa saber o que é a distribuição subjacente de β e da soma dos quadrados dos resíduos ( R S S ) uma vez que estes dois juntos put lhe dará a distribuição t.$\widehat{\beta}$$RSS$

A parte mais fácil é a distribuição de β que é uma distribuição normal - para ver esta nota que β = ( X T X ) - 1 X T Y por isso é uma função linear de Y onde Y ~ N ( X β , σ 2 I n ) . Como resultado, é também normalmente distribuída, β ~ N ( β , σ 2 ( X T X ) -$\widehat{\beta}$$\widehat{\beta}$$(X^{T}X)^{-1}X^{T}Y$$Y$$Y\sim N(X\beta, \sigma^{2}I_{n})$- deixe-me saber se você precisar de ajuda derivando a distribuição de β .$\widehat{\beta} \sim N(\beta, \sigma^{2}(X^{T}X)^{-1})$$\widehat{\beta}$

Além disso, , onde n é o número de observações e p é o número de parâmetros utilizados na sua regressão. A prova disso é um pouco mais envolvente, mas também é fácil de obter (veja a prova aqui Por que o RSS é distribuído chi square times np? ).$RSS \sim \sigma^{2}\chi^{2}_{n-p}$$n$$p$

Até este ponto eu considerei tudo na matriz / vetor notação, mas vamos para uso simplicidade β i e usar sua distribuição normal, que nos dará: β i - β i$\widehat{\beta}_{i}$

Além disso, a partir da distribuição qui-quadrado de , temos que: ( n - p ) s $RSS$

Isso foi simplesmente um rearranjo da primeira expressão qui-quadrado e é independente do . Além disso, definimos s 2 = R S $N(0,1)$ , que é um estimador imparcial paraσ2. Pela definição da definiçãotn-pque divide uma distribuição normal por um qui-quadrado independente (sobre seus graus de liberdade) fornece uma distribuição t (para a prova, consulte:Uma normal dividida pela√$s^{2}=\frac{RSS}{n-p}$$\sigma^{2}$$t_{n-p}$ fornece uma prova de distribuição t$\sqrt{\chi^2(s)/s}$), você obtém o seguinte:

Onde .$s\sqrt{(X^{T}X)^{-1}_{ii}}=SE(\widehat{\beta}_{i})$

Deixe-me saber se faz sentido.

The answer is actually very simple: you use t-distribution because it was pretty much designed specifically for this purpose.

Ok, the nuance here is that it wasn't designed specifically for the linear regression. Gosset came up with distribution of sample that was drawn from the population. For instance, you draw a sample $x_1,x_2,\dots,x_n$, and calculate its mean $\bar x=\sum_{i=1}^n x_i/n$. What is the distribution of a sample mean $\bar x$?

If you knew the true (population) standard deviation $\sigma$, then you'd say that the variable $\xi=(\bar x-\mu)\sqrt n/\sigma$ is from the standard normal distribution $\mathcal N(0,1)$. The trouble's that you usually do not know $\sigma$, and can only estimate it $\hat\sigma$. So, Gosset figured out the distribution when you substitute $\sigma$ with $\hat\sigma$ in the denominator, and the distribution is now called after his pseduonym "Student t".

The technicalities of linear regression lead to a situation where we can estimate the standard error $\hat\sigma_\beta$ of the coefficient estimate $\hat\beta$, but we do not know the true $\sigma$, therefore Student t distribution is applied here too.