As diferenças entre SVM e regressão logística

11

Eu estou lendo sobre isso SVMe cheguei ao ponto de que os não-kernelizados SVMsnada mais são que separadores lineares. Portanto, a única diferença entre uma SVMregressão logística e uma é o critério para escolher o limite?

Aparentemente, SVMescolhe o classificador de margem máxima e a regressão logística é a que minimiza a cross-entropyperda. Existem situações em que o SVM desempenho é melhor que a regressão logística ou vice-versa?

David Masip
fonte

Respostas:

11

Se você usar a regressão logística e a cross-entropyfunção de custo, sua forma é convexa e haverá um único mínimo. Porém, durante a otimização, você pode encontrar pesos próximos ao ponto ideal e não exatamente no ponto ideal. Isso significa que você pode ter várias classificações que reduzem o erro e talvez configurá-lo como zero para os dados de treinamento, mas com pesos diferentes que são ligeiramente diferentes. Isso pode levar a diferentes limites de decisão. Essa abordagem é baseada em métodos estatísticos . Como é ilustrado na forma a seguir, é possível ter limites de decisão diferentes com pequenas alterações nos pesos e todos eles têm erro zero nos exemplos de treinamento.

limites de decisão de regressão logística

O que SVMfaz é uma tentativa de encontrar um limite de decisão que reduz o risco de erro nos dados de teste. Ele tenta encontrar um limite de decisão que tenha a mesma distância dos pontos de limite de ambas as classes. Consequentemente, ambas as classes terão um mesmo espaço para o espaço vazio, onde não há dados. SVMé motivado geometricamente e não estatisticamente .

insira a descrição da imagem aqui

Nenhum SVMs kernelizado nada mais é do que separadores lineares. Portanto, a única diferença entre uma SVM e a regressão logística é o critério para escolher o limite?

Eles são separadores lineares e se você descobrir que seu limite de decisão pode ser um hiperplano, é melhor usar um SVMpara diminuir o risco de erro nos dados de teste.

Aparentemente, o SVM escolhe o classificador de margem máxima e a regressão logística que minimizam a perda de entropia cruzada.

Sim, conforme declarado, SVMé baseado nas propriedades geométricas dos dados, enquanto logistic regressioné baseado em abordagens estatísticas.

Nesse caso, existem situações em que o SVM teria um desempenho melhor que a regressão logística ou vice-versa?

Aparentemente, seus resultados não são muito diferentes, mas são. SVMs são melhores para generalização 1 , 2 .

meios de comunicação
fonte
2

A regressão logística não está tentando encontrar um limite de classe per se, como fazem os SVMs lineares. LR tenta modelar as pontuações y transformadas em logit usando preditores. Para usar uma analogia boba, o LR tenta colocar a função 'através dos pontos', enquanto os SVMs tentam colocar vetores de suporte 'entre os pontos'

HEITZ
fonte