MLE vs mínimos quadrados nas distribuições de probabilidade ajustadas

18

A impressão que tive, com base em vários artigos, livros e artigos que li, é que a maneira recomendada de ajustar uma distribuição de probabilidade em um conjunto de dados é usando a estimativa de máxima verossimilhança (MLE). No entanto, como físico, uma maneira mais intuitiva é ajustar apenas o pdf do modelo ao pdf empírico dos dados usando mínimos quadrados. Por que, então, o MLE é melhor que os mínimos quadrados na distribuição de probabilidades ajustada? Alguém poderia me indicar um artigo / livro científico que responda a essa pergunta?

Meu palpite é que o MLE não assume um modelo de ruído e o "ruído" no pdf empírico é heterocedástico e não é normal.

Christian Alis
fonte

Respostas:

2

Uma maneira útil de pensar sobre isso é observar que há casos em que os mínimos quadrados e o MLE são os mesmos, por exemplo, estimando os parâmetros em que o elemento aleatório tem uma distribuição normal. Então, de fato, ao invés de (como você especula) que o MLE não assume um modelo de ruído, o que está acontecendo é que ele assume que há ruído aleatório, mas adota uma visão mais sofisticada de como isso é moldado, em vez de assumi-lo. tem uma distribuição normal.

Qualquer livro sobre inferência estatística lidará com as boas propriedades dos MLEs no que diz respeito à eficiência e consistência (mas não necessariamente à parcialidade). Os MLEs também têm a boa propriedade de serem assintoticamente normais em um conjunto razoável de condições.

Peter Ellis
fonte
o que quero dizer com "não assume um modelo de ruído aleatório" é que ele não assume que o ruído tenha alguma distribuição definida, por exemplo, normal. Você poderia apontar um livro que discute a estimativa de parâmetros ajustando o PDF usando mínimos quadrados? Os livros que encontrei discutem apenas o MLE (e, às vezes, o método dos momentos).
Christian Alis
Para ajustar o MLE, você ainda precisa assumir uma distribuição definida, mas você tem uma escolha mais ampla do que apenas o normal. Apenas para escolher o primeiro livro em questão que discute os dois, eu tenho Garthwaite, Jolliffe e Jones Statistical Inference (um livro de texto uni bastante padrão do segundo ano) que discute os mínimos quadrados, o método dos momentos e o método do quadrado mínimo do Chi como alternativas para MLEs.
Peter Ellis