Premissas de distribuição residual de regressão

Por que é necessário colocar a premissa distributiva nos erros, ou seja,

$y_i = X\beta + \epsilon_{i}$ , com$\epsilon_{i} \sim \mathcal{N}(0,\sigma^{2})$ .

Por que não escrever

$y_i = X\beta + \epsilon_{i}$ , com$y_i \sim \mathcal{N}(X\hat{\beta},\sigma^{2})$ ,

onde em qualquer dos casos $\epsilon_i = y_i - \hat{y}$ .
Eu vi enfatizar que as premissas distributivas são colocadas nos erros, não nos dados, mas sem explicação.

Não estou realmente entendendo a diferença entre essas duas formulações. Em alguns lugares, vejo suposições distributivas sendo colocadas nos dados (parece bayesiano, na maioria das vezes), mas na maioria das vezes as suposições são colocadas nos erros.

Ao modelar, por que um / deveria escolher começar com suposições sobre um ou outro?

Em uma configuração de regressão linear, é comum fazer análises e derivar resultados condicionais em , isto é, condicionais nos "dados". Portanto, o que você precisa é que y ∣ X seja normal, ou seja, você precisa ϵ ser normal. Como o exemplo de Peter Flom ilustra, pode-se ter uma normalidade de ϵ sem ter a normalidade de y e, portanto, como o que você precisa é de normalidade de ϵ , essa é a suposição sensata.$X$$y\mid X$$\epsilon$$\epsilon$$y$$\epsilon$

Eu escreveria a segunda definição como

$y_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

ou (como Karl Oskar sugere +1)

$y_i|X_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

isto é, a suposição de modelagem é que a variável resposta é normalmente distribuída em torno da linha de regressão (que é uma estimativa da média condicional), com variação constante . Esta não é a mesma coisa que sugere que y i são normalmente distribuídos, porque a média da distribuição depende de X i .$\sigma^2$$y_i$$X_i$

Eu acho que vi formulações semelhantes a isso na literatura de aprendizado de máquina; tanto quanto eu posso ver isso é equivalente à primeira definição, tudo o que tenho feito é rexpress a segunda formulação um pouco diferente para eliminar a 's e y ' s.$\epsilon_i$$\hat{y}$

The difference is easiest to illustrate with an example. Here's a simple one:

Suponha que Y seja bimodal, com a modalidade explicada por uma variável independente. Por exemplo, suponha que Y seja a altura e sua amostra (por qualquer motivo) consiste em jóqueis e jogadores de basquete. por exemplo, emR

set.seed(123)
tall <- rnorm(100, 78, 3)
short <- rnorm(100, 60, 3)

height <- c(tall, short)
sport <- c(rep("B", 100), rep("H",100))

plot(density(height))

m1 <- lm(height~sport)
plot(m1)

a primeira densidade é muito fora do normal. Mas os resíduos do modelo são extremamente próximos do normal.

Quanto ao motivo pelo qual as restrições são colocadas dessa maneira - deixarei que outra pessoa responda a essa pergunta.

$$y_i\sim\mathcal N(\hat y_i,\sigma^2_\varepsilon)$$ $\hat y$$\bf x_i$

---

$\hat y_i$$\bf x_i\boldsymbol{\hat\beta}$. This leads to the formulation @DikranMarsupial presents:

$$y_i\sim\mathcal N({\bf x_i}\boldsymbol{\hat\beta},\sigma^2_\varepsilon)$$ It is worth recognizing that this is exactly the same as your first formulation, because both stipulate normal distributions and the expected values are equal. That is:
$$\begin{align} E[{\bf x_i}\boldsymbol{\hat\beta}] &= E[{\bf x_i}\boldsymbol{\hat\beta} + E[\mathcal N(0, \sigma^2_\varepsilon)]] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta} + 0] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta}] \end{align}$$ (And obviously the variances are equal.) In other words, this is not a difference in assumptions, but simply a notational difference.

So the question becomes, is there a reason to prefer presenting the idea using the first formulation?

I think the answer is yes for two reasons:

1. People often confuse whether the raw data should be normally distributed (i.e., $Y$), or if the data conditional on $\bf X$ / the errors should be normally distributed (i.e., $Y|\bf X$ / $\varepsilon$), for example, see: What if residuals are normally distributed, but y is not?
2. People also often confuse what is supposed to be independent, the raw data or the errors. Moreover, we often mention the fact that something should be iid (independent and identically distributed); if you are thinking in terms of $Y|\bf X$ this can be another potential source of confusion, as $Y|\bf X$ can be independent, but cannot be identically distributed unless the null hypothesis holds (because the mean would vary).

I believe these confustions are more likely using the second formulation than the first.