Diferença entre regressão linear no aprendizado de máquina e no modelo estatístico

Eu entendi que a principal diferença entre aprendizado de máquina e modelo estatístico é que, mais tarde, "assume" certo tipo de distribuição de dados e com base nesse paradigma de modelo diferente, bem como nos resultados estatísticos que obtemos (por exemplo, valores p, estatísticas F , t-stat, etc.). Mas, no caso de aprendizado de máquina, não nos preocupamos com a distribuição de dados e estamos mais interessados ​​em previsão.

Quando eu estava examinando o documento Mllib, descobri que, para regressão linear, estamos especificando uma distribuição. Mas o Mllib é um pacote de aprendizado de máquina. Então, eu tenho as seguintes perguntas:

1) O meu entendimento entre ML e método estatístico está errado?

2) O spark está usando modelagem estatística para regressão linear e GLMs?

Obrigado!

Nota: Há muitas publicações maravilhosas sobre a diferença entre o aprendizado de máquina e o método estatístico. Mas isso está mais relacionado ao MLLIB.

1. Infelizmente, a dicotomia que você descreve é ​​inválida. Os modelos ML (quase sempre) definem uma distribuição de resposta. Por exemplo, a biblioteca de máquinas de aumento de gradiente extremamente popular XGBoost define objetivos de aprendizagem específicos (por exemplo, linear, logístico, Poisson, Cox etc.).
2. A implementação de regressão linear e GLMs no MLlib do Spark é definitivamente baseada na teoria estatística padrão para modelos lineares. Por exemplo, citando diretamente pyspark/mllib/regression.pydos LinearRegressionWithSGDcomentários de: Train a linear regression model using Stochastic Gradient Descent (SGD). This solves the least squares regression formulation f(weights) = 1/(2n) ||A weights - y||^2 which is the mean squared error.ie, este é um algoritmo de regressão linear padrão para resposta gaussiana. A implementação de um algoritmo específico pode ser otimizada, de modo que funcione para grandes datasests (veja, por exemplo, este excelente tópico em " Por que usar descida gradiente para regressão linear, quando uma solução matemática em formato fechado está disponível? "), Mas a teoria por trás um algoritmo é exatamente o mesmo.