O que é comum, em mínimos quadrados comuns?

Recentemente, um amigo meu perguntou o que há de tão comum nos mínimos quadrados comuns. Não parecemos chegar a lugar algum na discussão. Nós dois concordamos que o OLS é um caso especial do modelo linear, tem muitos usos, é bem conhecido e é um caso especial de muitos outros modelos. Mas isso é realmente tudo?

Por isso, gostaria de saber:

• De onde veio o nome?
• Quem foi o primeiro a usar o nome?

Os mínimos quadrados em são freqüentemente chamados de mínimos quadrados ordinários (OLS), porque foi o primeiro procedimento estatístico a ser desenvolvido por volta de 1800, veja a história . É equivalente a minimizar a norma L 2 , | | Y - f ( X ) | | 2 . Posteriormente, mínimos quadrados ponderados, minimização de outras normas (por exemplo, L 1 ), mínimos quadrados generalizados , Estimativa M , minimização bivariada (por exemplo, regressão de Deming), regressão não paramétrica, regressão de probabilidade máxima, regularização (por exemplo, Tikhonov, cordilheira) e outro$y$$L_2$$||Y-f(X)||_2$$L_1$técnicas de problemas inversos e várias outras ferramentas foram desenvolvidas. Ainda há controvérsia sobre quem o aplicou, Gauss ou Legendre (ver link ). O termo "ordinário" (implicando em ) foi obviamente adicionado a "mínimos quadrados" somente depois que surgiram tantos métodos alternativos que os OLS (ainda mais) populares precisavam ser diferenciados da infinidade de outras minimizações disponíveis. Quando a adição exata de quadrados mínimos + comuns seria difícil de rastrear, pois isso ocorreu quando se tornou natural ou óbvio fazê-lo.$y$$+$