Qual é a diferença entre regressão perceptron linear e regressão linear LS?

Recentemente, um projeto em que estou envolvido fez uso de um perceptron linear para regressão múltipla (21 preditores). Utilizou GD estocástico. Como isso é diferente da regressão linear OLS?

regression machine-learning Simon Kuang
fonte

A Perceptronclasse à qual você vincula é para um classificador (saída binária) em vez de um regressor (saída contínua). Esse é o código real que você usou? Se assim for, essa é a diferença. :)

Dougal

@Dougal, ainda conta entre os GLMs

Simon Kuang

@ Dougal: suponha que você tenha um (G) LM que você otimizou para L2 usando SGDRegressor; isso seria equivalente à regressão linear?

Simon Kuang

Sim, alguns GLMs são classificadores. Se você usou SGDRegressor(loss='squared_loss', penalty='none'), isso é OLS.

Dougal

Respostas:

PerceptronSGDClassifier(loss="perceptron", penalty=None, learning_rate="constant", eta0=1)

\frac{1}{N} \sum_{i = 1}^{N} max (0, - y_{i} w^{T} x_{i}) .

$\frac{1}{N} \sum_{i=1}^N \max(0, - y_i w^T x_i).$

y_{i} \in {- 1, 1}

$y_i \in \{-1, 1\}$

w^{T} x_{i}

$w^T x_i$

A regressão de mínimos quadrados, por outro lado, usa Aqui pode ser real; você pode atribuir a ele metas de classificação em se desejar, mas isso não lhe dará um modelo muito bom. Você pode otimizar isso com, se quiser.

\frac{1}{N} \sum_{i = 1}^{N} (y_{i} - w^{T} x_{i})^{2} .

$\frac{1}{N} \sum_{i=1}^N (y_i - w^T x_i)^2.$

y_{i}

$y_i$

{- 1, 1}

$\{-1, 1\}$ SGDRegressor(loss="squared_loss", penalty=None)

Os dois definem modelos fundamentalmente diferentes: o perceptron prevê um rótulo de classe binária com , enquanto a regressão linear prediz um valor real com . Esta resposta fala um pouco sobre por que tentar resolver um problema de classificação com um algoritmo de regressão pode ser problemático. $\mathrm{sign}(w^T x_i)$ $w^T x_i$

Dougal
fonte