Regressão linear: alguma distribuição não normal que dê identidade ao OLS e MLE?

Esta questão é inspirada na longa discussão nos comentários aqui: Como a regressão linear usa a distribuição normal?

No modelo de regressão linear usual, por simplicidade, aqui escrito com apenas um preditor:

$$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$ onde são constantes conhecidas e são termos de erro independentes com média zero. Se, além disso, assumirmos distribuições normais para os erros, os estimadores usuais de mínimos quadrados e os estimadores de probabilidade máxima de serão idênticos.ϵ i β 0 , β $x_i$$\epsilon_i$$\beta_0, \beta_1$

Portanto, minha pergunta fácil: existe alguma outra distribuição para os termos de erro, de modo que a mle seja idêntica ao estimador ordinário de mínimos quadrados? A implicação é fácil de mostrar, a outra não.

Na estimativa da máxima verossimilhança, calculamos

$$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$$

a última relação levando em consideração a estrutura de linearidade da equação de regressão.

Em comparação, o estimador OLS satisfaz

$$\sum \epsilon_i\mathbf x_i = \mathbf 0$$

Para obter expressões algébricas idênticas para os coeficientes de declive, precisamos ter uma densidade para o termo de erro tal que

$$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$$

Estas são equações diferenciais da forma que têm soluções$y' = \pm\; xy$

$$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$$

$$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$$

Qualquer função que possua esse kernel e se integre à unidade em um domínio apropriado fará com que o MLE e o OLS dos coeficientes de inclinação sejam idênticos. Ou seja, estamos procurando

$$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$$

$g$

Certamente. Mas mais uma coisa que devemos considerar é o seguinte: se alguém usar o sinal de mais no expoente e um suporte simétrico em torno de zero, por exemplo, obterá uma densidade que tenha um mínimo exclusivo no meio e dois máximos locais em os limites do apoio.

$$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$$ $f(y|x,\beta_0,\beta_1)$ $$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$$ $$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$$ $f_0(y|x)$$(\beta_0,\beta_1)$

$\mathbf{y}$

$$h(||\mathbf{y}-\mathbf{X}\beta||)$$ $h(\cdot)$$\epsilon_i$

Eu não sabia sobre essa pergunta até @ Xi'an apenas atualizar com uma resposta. Existe uma solução mais genérica. As distribuições exponenciais da família com alguns parâmetros fixaram o rendimento para as divergências de Bregman. Para essas distribuições, a média é o minimizador. O minimizador de OLS também é a média. Portanto, para todas essas distribuições, elas devem coincidir quando o funcional linear estiver vinculado ao parâmetro da média.

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf