Comparando SVM e regressão logística

37

Alguém pode me dar alguma intuição sobre quando escolher SVM ou LR? Quero entender a intuição por trás da diferença entre os critérios de otimização de aprender o hiperplano dos dois, onde os respectivos objetivos são os seguintes:

  • SVM: tente maximizar a margem entre os vetores de suporte mais próximos
  • LR: Maximize a probabilidade da classe posterior

Vamos considerar o espaço de recurso linear para SVM e LR.

Algumas diferenças que eu já conheço:

  1. O SVM é determinístico (mas podemos usar o modelo Platts para o escore de probabilidade) enquanto o LR é probabilístico.
  2. Para o espaço do kernel, o SVM é mais rápido (armazena apenas vetores de suporte)
user41799
fonte
2
Esta afirmação está errada: " LR: Maximize a probabilidade da classe posterior ". A regressão logística maximiza a probabilidade, não alguma densidade posterior. A regressão logística bayesiana é uma história diferente, mas você precisa ser específico sobre isso, se é a isso que se refere.
Digio

Respostas:

30

SVMs lineares e regressão logística geralmente apresentam desempenho comparável na prática. Use o SVM com um kernel não linear se você tiver motivos para acreditar que seus dados não serão linearmente separáveis ​​(ou você precisa ser mais robusto com valores extremos do que o LR normalmente tolera). Caso contrário, tente primeiro a regressão logística e veja como você se sai com esse modelo mais simples. Se a regressão logística falhar, tente um SVM com um kernel não linear como um RBF.

EDITAR:

Ok, vamos falar sobre de onde vêm as funções objetivas.

A regressão logística vem da regressão linear generalizada. Uma boa discussão da função objetivo da regressão logística neste contexto pode ser encontrada aqui: https://stats.stackexchange.com/a/29326/8451

O algoritmo Support Vector Machines é muito mais geometricamente motivado . Em vez de assumir um modelo probabilístico, estamos tentando encontrar um hiperplano de separação ideal em particular, onde definimos "otimização" no contexto dos vetores de suporte. Não temos nada parecido com o modelo estatístico que usamos na regressão logística aqui, embora o caso linear nos dê resultados semelhantes: na verdade, isso apenas significa que a regressão logística faz um bom trabalho ao produzir classificadores de "ampla margem", pois é tudo o que o SVM está tentando fazer (especificamente, o SVM está tentando "maximizar" a margem entre as classes).

Vou tentar voltar a isso mais tarde e me aprofundar um pouco mais nas ervas daninhas. Estou meio que no meio de algo: p

David Marx
fonte
11
Mas isso ainda não responde à minha pergunta sobre qual é a diferença intuitiva nas funções objetivas do SVM v / s LR, que são as seguintes: (a) SVM: Tente maximizar a margem entre os vetores de suporte mais próximos (b) LR: Maximizar a probabilidade de classe posterior
user41799
Quero dizer, essa é uma pergunta completamente diferente. Você está perguntando sobre quando usar os modelos ou o que motiva a forma de suas funções objetivas?
David Marx
11
Estou mais interessado no que motiva a forma de suas funções objetivo
user41799
4
Vou tentar voltar a isso mais tarde e me aprofundar um pouco mais nas ervas daninhas. Estou meio que no meio de algo. Quatro anos depois ...
#
23

Regressão logística vs SVM

Imagem significa a diferença entre SVM e regressão logística e onde usar qual método

esta imagem vem do curso coursera: "machine learning" de Andrew NG. Ele pode ser encontrado na semana 7 no final de: "Suporte a máquinas de vetor - usando um SVM"

JSONParser
fonte
Por "recursos", você quer dizer o número de atributos exclusivos ou o número total de valores exclusivos pertencentes a esses atributos?
Ahmedov
por exemplo: na previsão de preço preço da borracha, uma característica é um preço da gasolina é tempo etc .....
JSONParser
Na verdade, a imagem não diz nada sobre suas diferenças ...
Jan KUKACKA
diferença pode ser comparação palavra errada pode ser melhor
JSONParser
1
  • O LR fornece probabilidades calibradas que podem ser interpretadas como confiança em uma decisão.
  • O LR nos dá um objetivo suave e sem restrições.
  • O LR pode ser (diretamente) usado nos modelos bayesianos.
  • Os SVMs não penalizam exemplos pelos quais a decisão correta é tomada com confiança suficiente. Isso pode ser bom para generalização.
  • Os SVMs têm uma boa forma dupla, oferecendo soluções esparsas ao usar o truque do kernel (melhor escalabilidade)

Confira Máquinas de vetores de suporte versus regressão logística, Universidade de Toronto CSC2515 por Kevin Swersky.

Chankey Pathak
fonte