Diferenças entre regressão logística e perceptrons

Pelo que entendi, uma rede neural artificial de perceptron / camada única com uma função de ativação sigmóide logística é o mesmo modelo que a regressão logística. Ambos os modelos são dados pela equação:

$F(x) = \frac{1}{1-e^{-\beta X}}$

O algoritmo de aprendizado do perceptron é on-line e orientado a erros, enquanto os parâmetros para regressão logística podem ser aprendidos usando uma variedade de algoritmos em lote, incluindo descida de gradiente e BFGS de memória limitada ou um algoritmo on-line, como descida de gradiente estocástica. Existem outras diferenças entre a regressão logística e um perceptron sigmóide? Os resultados de um regressor logístico treinado com descida do gradiente estocástico devem ser semelhantes ao perceptron?

Você já mencionou as diferenças importantes. Portanto, os resultados não devem diferir muito.

Acredito que uma diferença que você está perdendo é o fato de que a regressão logística retorna uma probabilidade de classificação baseada em princípios, enquanto os perceptrons são classificados com um limite rígido.

Isso é mencionado no artigo da Wiki sobre regressão logística multinomial .

Na verdade, há uma grande diferença substancial, relacionada às diferenças técnicas que você mencionou. A regressão logística modela uma função da média de uma distribuição de Bernoulli como uma equação linear (a média é igual à probabilidade p de um evento de Bernoulli). Usando o link logit como uma função da média ( p ), o logaritmo das probabilidades (log-probabilidades) pode ser derivado analiticamente e usado como resposta do chamado modelo linear generalizado. A estimativa de parâmetros neste GLM é, então, um processo estatístico que gera valores de p e intervalos de confiança para os parâmetros do modelo. Além da previsão, isso permite que você interprete o modelo em inferência causal. Isso é algo que você não pode alcançar com um Perceptron linear.

O Perceptron é um processo de engenharia reversa de regressão logística: em vez de pegar o logit de y, ele assume a função logit inversa (logística) de wx , e não usa premissas probabilísticas para o modelo nem para a estimativa de parâmetros. O treinamento on-line fornecerá exatamente as mesmas estimativas para os pesos / parâmetros do modelo, mas você não poderá interpretá-los em inferência causal devido à falta de valores-p, intervalos de confiança e, bem, um modelo de probabilidade subjacente.

Para encurtar a história, a regressão logística é um GLM que pode executar predição e inferência, enquanto o Perceptron linear só pode obter predição (nesse caso, ele executará o mesmo que a regressão logística). A diferença entre os dois também é a diferença fundamental entre modelagem estatística e aprendizado de máquina.