Estimando a regressão linear com OLS vs. ML

Suponha que vou estimar uma regressão linear em que assumo . Qual é o benefício do OLS contra a estimativa de ML? Eu sei que precisamos saber uma distribuição de quando usamos ML Methods, mas como eu suponho que se eu uso ML ou OLS, este ponto parece irrelevante. Assim, a única vantagem do OLS deve estar nas características assintóticas dos estimadores . Ou temos outras vantagens do método OLS?$u\sim N(0,\sigma^2)$$u$$u\sim N(0,\sigma^2)$$\beta$

Usando as notações usuais, a probabilidade logarítmica do método ML é

$l(\beta_0, \beta_1 ; y_1, \ldots, y_n) = \sum_{i=1}^n \left\{ -\frac{1}{2} \log (2\pi\sigma^2) - \frac{(y_{i} - (\beta_0 + \beta_1 x_{i}))^{2}}{2 \sigma^2} \right\}$ .

Ele deve ser maximizado em relação a e .$\beta_0$$\beta_1$

Mas, é fácil ver que isso é equivalente a minimizar

$\sum_{i=1}^{n} (y_{i} - (\beta_0 + \beta_1 x_{i}))^{2}$ .

Portanto, o ML e o OLS levam à mesma solução.

Mais detalhes são fornecidos nessas agradáveis ​​notas de aula .

Você está focando na parte errada do conceito em sua pergunta. A beleza dos mínimos quadrados é que ela fornece uma resposta fácil e agradável, independentemente da distribuição, e se a distribuição verdadeira for normal, então também será a resposta de maior probabilidade possível (acho que esse é o Gauss-Markov). Quando você tem uma distribuição diferente da normal, o ML e o OLS fornecerão respostas diferentes (mas se a distribuição verdadeira estiver próxima do normal, as respostas serão semelhantes).

a única diferença para amostras finitas é que o estimador de ML para a variância residual é enviesado. Ele não leva em consideração o número de regressores usados ​​no modelo.