Qual a diferença entre a Regressão do vetor de suporte e a SVM?

Eu sei o básico sobre SVM e SVR, mas ainda não entendi como o problema de encontrar um hiperplano que maximize a margem se encaixa no SVR.

Segundo, li algo sobre usado como margem de tolerância no SVR. O que isso significa?$\epsilon$

Terceiro, existe alguma diferença entre os parâmetros da função de decisão usados ​​no SVM e no SVR?

O SVM, tanto para classificação quanto para regressão, visa otimizar uma função por meio de uma função de custo, no entanto, a diferença está na modelagem de custos.

Considere esta ilustração de uma máquina de vetores de suporte usada para classificação.

Como nosso objetivo é uma boa separação das duas classes, tentamos formular um limite que deixe uma margem tão ampla quanto possível entre as instâncias mais próximas a ele (vetores de suporte), sendo possíveis as instâncias que caem nessa margem. incorrendo em um alto custo (no caso de uma margem suave SVM).

No caso de regressão, o objetivo é encontrar uma curva que minimize o desvio dos pontos. Com o SVR, também usamos uma margem, mas com um objetivo totalmente diferente - não nos importamos com instâncias que se encontrem dentro de uma certa margem ao redor da curva, porque a curva se encaixa um pouco bem. Essa margem é definida pelo parâmetro do SVR. Instâncias que caem dentro da margem não incorrem em nenhum custo, é por isso que nos referimos à perda como 'insensível ao epsilon'.$\epsilon$

$\xi_+, \xi_-$$\epsilon$

Isso nos dá o problema de otimização (consulte E. Alpaydin, Introdução ao Machine Learning, 2ª Edição)

$$min \frac{1}{2} ||w||^2 + C\sum_{t} (\xi_+ + \xi_-)$$

sujeito a

$$r^t - (\textbf{w}^T \textbf{x} + w_0) \leq \epsilon + \xi_{+}^{t}\\ (\textbf{w}^T \textbf{x} + w_0)-r^t \leq \epsilon + \xi_{-}^{t}\\ \xi_{+}^{t},\xi_{-}^{t} \geq 0$$

Instâncias fora da margem de uma regressão SVM incorrem em custos na otimização, portanto, visando minimizar esse custo como parte da otimização refina nossa função de decisão, mas, na verdade , não maximiza a margem, como seria o caso na classificação SVM.

Isso deveria ter respondido as duas primeiras partes da sua pergunta.

$\epsilon$$C$$\gamma$