"Mínimos Quadrados" e "Regressão Linear", são sinônimos?

Qual é a diferença entre mínimos quadrados e regressão linear? É a mesma coisa?

regression least-squares terminology bbadyalina
fonte

Eu diria que os mínimos quadrados comuns são um método de estimativa dentro da categoria mais ampla de regressão linear . É possível, no entanto, que algum autor esteja usando "mínimos quadrados" e "regressão linear" como se fossem intercambiáveis.

Matthew Gunn

Se você estiver fazendo mínimos quadrados comuns , eu usaria esse termo. É menos ambíguo.

Matthew Gunn

Veja também o que é um modelo de regressão .

Richard Hardy

Respostas:

A regressão linear assume uma relação linear entre a variável independente e a variável dependente. Não diz como o modelo é montado. O encaixe menos quadrado é simplesmente uma das possibilidades. Outros métodos para treinar um modelo linear estão no comentário.

Os mínimos quadrados não lineares são comuns ( https://en.wikipedia.org/wiki/Non-linear_least_squares ). Por exemplo, o popular algoritmo Levenberg – Marquardt resolve algo como:

\hat{β} = \underset{β}{argmin} S (β) \equiv \underset{β}{argmin} \sum_{Eu = 1}^{m} {[y_{Eu} - f (x_{Eu}, β)]}^{2}

$\hat\beta=\mathop{\textrm{argmin}}_\beta S(\beta)\equiv \mathop{\textrm{argmin}}_\beta\sum_{i=1}^{m}\left[ y_i-f(x_i,\beta) \right]^2$

É uma otimização de mínimos quadrados, mas o modelo não é linear.

Eles não são a mesma coisa .

Olá Mundo
fonte

Além da resposta correta do @Estudante T, quero enfatizar que os mínimos quadrados são uma função de perda potencial para um problema de otimização, enquanto a regressão linear é um problema de otimização.

Dado um determinado conjunto de dados, a regressão linear é usada para encontrar a melhor função linear possível, o que está explicando a conexão entre as variáveis.

Nesse caso, o "melhor" possível é determinado por uma função de perda, comparando os valores previstos de uma função linear com os valores reais no conjunto de dados. Mínimos Quadrados é uma possível função de perda.

O artigo da wikipedia de mínimos quadrados também mostra imagens no lado direito, que mostram o uso de mínimos quadrados para outros problemas além da regressão linear, como:

encaixe cônico
função quadrática apropriada

O gif a seguir do artigo da wikipedia mostra várias funções polinomiais diferentes ajustadas a um conjunto de dados usando mínimos quadrados. Apenas um deles é linear (polinômio de 1). Isso foi retirado do artigo da wikipedia em alemão para o tópico.

Nikolas Rieble
fonte

Podemos argumentar que os exemplos não lineares na animação ainda são lineares nos parâmetros.

Firebug 02/02

É verdade que a relação do modelo entre o destino e a variável de entrada não é linear. Você ainda chamaria o ajuste de "regressão linear"? Eu não faria.

Nikola Rieble 2/02

Deveríamos distinguir entre "mínimos quadrados lineares" e "regressão linear", pois o adjetivo "linear" nos dois se refere a coisas diferentes. O primeiro refere-se a um ajuste linear nos parâmetros, e o último refere-se ao ajuste a um modelo que é uma função linear da (s) variável (s) independente (s).

JM não é estatístico

@JM Muitas fontes sustentam que "linear" na regressão "linear" significa "linear nos parâmetros" e "linear nos IVs". O artigo da WIkipedia sobre regressão linear é um exemplo é um exemplo. Aqui está outro e outro . Muitos textos estatísticos fazem o mesmo; Eu diria que é uma convenção.

Glen_b -Reinstala Monica

@Glen, prolly um desenvolvimento posterior às coisas que li (sou um veterano nisso); eles limitaram a "regressão linear" para ajustar o modelo

y = m x + b

$y=mx+b$ .

JM não é estatístico