Como o suporte à regressão vetorial funciona intuitivamente?

Todos os exemplos de SVMs estão relacionados à classificação. Não entendo como um SVM para regressão (regressor de vetor de suporte) pode ser usado na regressão.

Pelo meu entendimento, um SVM maximiza a margem entre duas classes para encontrar o hiperplano ideal. Como isso possivelmente funcionaria em um problema de regressão?

Em resumo: maximizar a margem pode ser mais geralmente visto como regularizando a solução, minimizando (o que é essencialmente minimizar a complexidade do modelo), isso é feito tanto na classificação quanto na regressão. Mas, no caso de classificação deste minimização é feita sob a condição de que todos os exemplos estão classificados corretamente e no caso de regressão sob a condição de que o valor y de todos os exemplos se desvia menos do que a precisão requerida ε de f ( x ) para a regressão.$w$$y$$\epsilon$$f(x)$

---

Para entender como você passa da classificação para a regressão, é útil ver como nos dois casos se aplica a mesma teoria SVM para formular o problema como um problema de otimização convexo. Vou tentar colocar os dois lado a lado.

$\epsilon$

Classificação

$f(x)= wx +b$$f(x) \geq 1$$f(x) \leq -1$$f'=w$

$f(x)$$f(x)$

$f(x) \geq 1$$f(x) \leq -1$

Regressão

$f(x)= wx +b$$f(x)$$\epsilon$$y(x)$$|y(x) -f(x)|\leq \epsilon$$epsilon$$f'(x)=w$$w$$w=0$

$|y -f(x)|\leq \epsilon$

Conclusão

Ambos os casos resultam no seguinte problema:

$$\text{min} \frac{1}{2}w^2$$

Sob a condição de que:

• Todos os exemplos estão classificados corretamente (Classificação)
• $y$$\epsilon$$f(x)$

No SVM para o problema de classificação, na verdade, tentamos separar a classe o mais longe possível da linha de separação (Hiperplano) e, diferentemente da regressão logística, criamos um limite de segurança de ambos os lados do hiperplano (diferente entre a regressão logística e a classificação SVM). função de perda). Eventualmente, ter pontos de dados diferentes separados, tanto quanto possível, do hiperplano.

No SVM para problemas de regressão, queremos ajustar um modelo para prever uma quantidade para o futuro. Portanto, queremos que o ponto de dados (observação) seja o mais próximo possível do hiperplano, diferentemente do SVM para classificação. A regressão SVM herdada de Regressão Simples como (Mínimo Quadrado Ordinário) por essa diferença que definimos um intervalo épsilon de ambos os lados do hiperplano para tornar a função de regressão insensível ao erro, ao contrário do SVM para classificação, definimos um limite para ser seguro. a decisão futura (previsão). Eventualmente,