Qual é o modelo estatístico por trás do algoritmo SVM?

Aprendi que, ao lidar com dados usando a abordagem baseada em modelo, o primeiro passo é modelar o procedimento de dados como um modelo estatístico. O próximo passo é desenvolver um algoritmo eficiente / rápido de inferência / aprendizado com base nesse modelo estatístico. Então, eu quero perguntar qual modelo estatístico está por trás do algoritmo da máquina de vetores de suporte (SVM)?

Muitas vezes, você pode escrever um modelo que corresponda a uma função de perda (aqui vou falar sobre regressão SVM em vez de classificação SVM; é particularmente simples)

Por exemplo, em um modelo linear, se sua função de perda for , minimizando isso corresponderá à probabilidade máxima de f ∝ exp ( - $\sum_i g(\varepsilon_i) = \sum_i g(y_i-x_i'\beta)$= exp ( - $f\propto \exp(-a\,g(\varepsilon))$ . (Aqui eu tenho um núcleo linear)$= \exp(-a\,g(y-x'\beta))$

Se bem me lembro, a regressão SVM tem uma função de perda como esta:

Isso corresponde a uma densidade que é uniforme no meio com caudas exponenciais (como vemos exponenciando seu negativo, ou algum múltiplo de seu negativo).

Há uma família de três parâmetros: localização do canto (limite de insensibilidade relativo) mais localização e escala.

É uma densidade interessante; se bem me lembro de olhar para essa distribuição específica há algumas décadas, um bom estimador de localização é a média de dois quantis simetricamente posicionados correspondentes a onde os cantos estão (por exemplo, o midhinge daria uma boa aproximação ao MLE para uma determinada escolha da constante na perda de SVM); um estimador semelhante para o parâmetro de escala seria baseado em sua diferença, enquanto o terceiro parâmetro corresponde basicamente a descobrir em que percentual os cantos estão (isso pode ser escolhido em vez de estimado, como costuma ser para SVM).

Portanto, pelo menos para a regressão SVM, parece bastante simples, pelo menos se estamos escolhendo obter nossos estimadores pela máxima probabilidade.

(Caso você esteja prestes a perguntar ... Não tenho referência a essa conexão específica com o SVM: acabei de resolver isso agora. É tão simples, no entanto, que dezenas de pessoas já resolveram isso antes de mim, sem dúvida não são referências para isso - eu apenas nunca vi nenhum).

Acho que alguém já respondeu sua pergunta literal, mas deixe-me esclarecer uma possível confusão.

Sua pergunta é um pouco semelhante à seguinte:

$f(x) = \ldots$

Em outras palavras, certamente tem uma resposta válida (talvez até única, se você impõe restrições de regularidade), mas é uma pergunta bastante estranha, pois não foi uma equação diferencial que deu origem a essa função em primeiro lugar.
(Por outro lado, dada a equação diferencial, é natural pedir sua solução, pois geralmente é por isso que você escreve a equação!)

Eis o porquê: acho que você está pensando em modelos probabilísticos / estatísticos - especificamente modelos generativos e discriminativos , com base na estimativa de probabilidades conjuntas e condicionais a partir dos dados.

O SVM não é nenhum. É um tipo de modelo completamente diferente - que ignora esses problemas e tenta modelar diretamente o limite da decisão final, e as probabilidades são condenadas.

Como se trata de encontrar a forma do limite de decisão, a intuição por trás dele é geométrica (ou talvez devamos dizer baseada em otimização), em vez de probabilística ou estatística.

Dado que as probabilidades não são realmente consideradas em nenhum lugar ao longo do caminho, é bastante incomum perguntar o que poderia ser um modelo probabilístico correspondente, e especialmente porque todo o objetivo era evitar ter que se preocupar com probabilidades. Por isso, você não vê pessoas falando sobre eles.