OLS vs. máxima verossimilhança em Distribuição normal em regressão linear

8

Descobri que, para um modelo de regressão linear simples, o OLS e o método de máxima verossimilhança (assumindo a distribuição Normal) fornecem a mesma saída (valores de parâmetros). A partir disso, podemos dizer que o OLS também faz suposições implícitas sobre a distribuição Normal ou vice-versa? Não estou interessado em saber por que os dois produzem o mesmo valor, mas qual deles faz suposições menos rigorosas sobre os dados?

Neeraj
fonte

Respostas:

6

O OLS não faz uma suposição de normalidade para os erros do modelo. O OLS pode ser usado sob diferentes premissas distributivas e o estimador ainda fará sentido como estimador linear imparcial de variância mínima.

A verossimilhança máxima (ML) também pode acomodar distribuições diferentes, mas a distribuição deve ser escolhida antecipadamente. Se a distribuição real parecer diferente da distribuição assumida, o estimador de ML não fará mais sentido como estimador que maximiza a densidade de probabilidade conjunta dos dados.

Assim, podemos dizer que, em um aplicativo específico, o ML faz uma suposição mais rigorosa sobre os erros de modelo do que o OLS.

Richard Hardy
fonte
Obrigado @RihchardHardy ..... você pode explicar o que significa "OLS pode ser usado sob diferentes premissas distributivas"? Como, de acordo com meu conhecimento, o OLS não faz nenhuma suposição sobre os dados, mas apenas minimiza a soma do quadrado dos resíduos.
Neeraj
Você está certo. Isso pretendia significar "Independentemente de qual suposição distributiva, se houver, você estiver fazendo, o OLS ficará bem".
Richard Hardy
@ obrigado RichardHardy. Isso significa que a probabilidade máxima é tão boa quanto a suposição de distribuição. Mas isso significa que, para o modelo de regressão linear, o OLS é sempre melhor que o ML?
Neeraj
1
Qual é o melhor depende da sua função objetivo (ou função de perda). 1. Se você deseja maximizar a densidade de probabilidade conjunta de erros, a probabilidade máxima é a sua escolha (mas você deve verificar até que ponto os resíduos do modelo correspondem à suposição distributiva). Além disso, a probabilidade máxima ainda pode funcionar, mesmo que a distribuição de erros não seja correspondida; a palavra-chave aqui é quase máxima probabilidade. 2. Se você deseja minimizar a soma dos resíduos quadrados, vá para OLS.
Richard Hardy
1
Eu acho que é uma questão de interpretação. OLS e MLE têm objetivos diferentes. No entanto, aliás OLS e MLE são os mesmos na distribuição normal. Isso pode ser interpretado como OLS sem saber, usando a suposição de nomalidade? Talvez, mas eu não colocaria dessa maneira. O OLS não se baseia nem tem como objetivo maximizar a probabilidade. Eu chamaria isso de coincidência. Em geral, você pode fazer uma nova pergunta em vez de colocá-la nos comentários. Idealmente, os comentários devem estar fortemente relacionados ao OP ou à resposta, enquanto discussões mais amplas podem merecer novas perguntas e novas respostas.
Richard Hardy