O Gradient Descent é possível para SVMs kernelizados (se sim, por que as pessoas usam a Programação Quadrática)?

Por que as pessoas usam técnicas de programação quadrática (como SMO) ao lidar com SVMs kernelizados? O que há de errado com a descida do gradiente? É impossível usar com kernels ou é muito lento (e por quê?).

Aqui está um pouco mais de contexto: tentando entender um pouco melhor os SVMs, usei o Gradient Descent para treinar um classificador SVM linear usando a seguinte função de custo:

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \mathbf{x}^{(i)} + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$

Estou usando as seguintes notações:

• $\mathbf{w}$ é o peso do recurso do modelo$b$ é seu parâmetro de viés.
• $\mathbf{x}^{(i)}$ é o$i^\text{th}$ vector recurso da instância de treinamento.
• $y^{(i)}$ é a classe de destino (-1 ou 1) para a$i^\text{th}$ instância.
• $m$ é o número de instâncias de treinamento.
• $C$ é o hiperparâmetro de regularização.

I derivado de um vector de (sub) gradiente (no que diz respeito a $\mathbf{w}$ e $b$ ) a partir desta equação, e Gradiente Descida funcionou muito bem.

$\mathbf{u}^t \cdot \mathbf{v}$$K(\mathbf{u}, \mathbf{v})$$K$$K(\mathbf{u}, \mathbf{v}) = e^{-\gamma \|\mathbf{u} - \mathbf{v}\|^2}$

Se é muito lento, por que isso? A função de custo não é convexa? Ou é porque o gradiente muda muito rápido (não é contínuo em Lipschitz) para que o algoritmo continue pulando através dos vales durante a descida e converja muito lentamente? Mas mesmo assim, como pode ser pior que a complexidade de tempo da programação quadrática, que é ? Se é uma questão de mínimos locais, a GD Estocástica com recozimento simulado não pode superá-los? $O({n_\text{samples}}^2 \times n_\text{features})$

Defina modo que w t ϕ ( x ) = u t ⋅ K e w t w = u t K u , com K = ϕ ( x ) t ϕ ( x ) , onde ϕ ( x ) é um mapeamento da matriz de entrada original, $\mathbf w = \phi(\mathbf x)\cdot \mathbf u$$\mathbf w^t \phi(\mathbf x)=\mathbf u^t \cdot \mathbf K$$\mathbf w^t\mathbf w = \mathbf u^t\mathbf K\mathbf u$$\mathbf K = \phi(\mathbf x)^t\phi(\mathbf x)$$\phi(x)$$\mathbf x$. Isso permite resolver o SVM através da formulação primária. Usando sua notação para a perda:

$$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{u}^t \cdot \mathbf{K}^{(i)} + b)\right)} + \dfrac{1}{2} \mathbf{u}^t \cdot \mathbf{K} \cdot \mathbf{u}$$

m × m u m × $\mathbf{K}$ é uma matriz é uma matriz . Nem é infinito.$m \times m$$\mathbf{u}$$m \times 1$

De fato, o dual é geralmente mais rápido de resolver, mas o primal também tem suas vantagens, como soluções aproximadas (que não são garantidas na formulação dual).

---

Agora, por que o dual é muito mais proeminente não é óbvio: [1]

As razões históricas pelas quais a maior parte da pesquisa na última década foi sobre otimização dupla não são claras . Acreditamos que é porque os SVMs foram introduzidos pela primeira vez em sua formulação de margem rígida [Boser et al., 1992], para a qual uma otimização dupla (devido às restrições) parece mais natural. Em geral, no entanto, os SVMs de margem flexível devem ser preferidos, mesmo que os dados de treinamento sejam separáveis: o limite de decisão é mais robusto porque mais pontos de treinamento são levados em consideração [Chapelle et al., 2000]

---

Chapelle (2007) argumenta que a complexidade temporal da otimização primária e dupla é , sendo o pior caso O ( n 3 ) , mas eles analisaram perdas quadráticas e aproximadas da dobradiça, portanto, não é adequado. perda de dobradiça, pois não é diferenciável para ser usado com o método de Newton.$\mathcal{O}\left(nn_{sv} + n_{sv}^3\right)$$\mathcal{O}\left(n^3\right)$

---

_{[1] Chapelle, O. (2007). Treinando uma máquina de vetores de suporte no primal. Computação neural, 19 (5), 1155-1178.}

Se aplicarmos uma transformação a todos os vetores de peso de entrada ( x ( i ) ), obteremos a seguinte função de custo:$\phi$$\mathbf{x}^{(i)}$

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$

Os substitui truque do kernel por K ( u , v ) . Como o vetor de peso w não é transformado, o truque do kernel não pode ser aplicado à função de custo acima .$\phi(\mathbf{u})^t \cdot \phi(\mathbf{v})$$K(\mathbf{u}, \mathbf{v})$$\mathbf{w}$

A função de custo acima corresponde à forma primária do objetivo SVM:

$\underset{\mathbf{w}, b, \mathbf{\zeta}}\min{C \sum\limits_{i=1}^m{\zeta^{(i)}} + \dfrac{1}{2}\mathbf{w}^t \cdot \mathbf{w}}$

sujeito a e ζ ( i ) ≥ 0 para i = 1 , ⋯ , $y^{(i)}(\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b) \ge 1 - \zeta^{(i)})$$\zeta^{(i)} \ge 0$$i=1, \cdots, m$

A forma dupla é:

$\underset{\mathbf{\alpha}}\min{\dfrac{1}{2}\mathbf{\alpha}^t \cdot \mathbf{Q} \cdot \mathbf{\alpha} - \mathbf{1}^t \cdot \mathbf{\alpha}}$

sujeito a e 0 ≤ α i ≤ C para i = 1 , 2 , ⋯ , $\mathbf{y}^t \cdot \mathbf{\alpha} = 0$$0 \le \alpha_i \le C$$i = 1, 2, \cdots, m$

onde é um vector completo de 1s e Q é um m × m matriz com elementos Q i j = y ( i ) y ( j ) φ ( x ( i ) ) t ⋅ φ ( x ( j ) ) .$\mathbf{1}$$\mathbf{Q}$$m \times m$$Q_{ij} = y^{(i)} y^{(j)} \phi(\mathbf{x}^{(i)})^t \cdot \phi(\mathbf{x}^{(j)})$

Agora podemos usar o truque do kernel calculando assim:$Q_{ij}$

$Q_{ij} = y^{(i)} y^{(j)} K(\mathbf{x}^{(i)}, \mathbf{x}^{(j)})$

Portanto, o truque do kernel pode ser usado apenas na forma dupla do problema SVM (além de outros algoritmos, como a regressão logística).

Agora você pode usar as bibliotecas de programação quadrática prontas para resolver esse problema ou usar multiplicadores Lagrangianos para obter uma função irrestrita (a função de custo duplo) e, em seguida, procurar um mínimo usando a Descida de gradiente ou qualquer outra técnica de otimização. Uma das abordagens mais eficientes parece ser o algoritmo SMO implementado pela libsvmbiblioteca (para SVM kernelizado).

Posso estar errado, mas não vejo como podemos substituir os produtos por kernels sem transformá-lo no problema duplo.

$x$$\phi(x)$
$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$
$\phi(\mathbf{x}^{(i)})$$\mathbf{w}$

Parece difícil otimizar um vetor de dimensões infinitas usando a descida gradiente diretamente.

Atualizar
A resposta do Firebug fornece uma maneira de substituir os produtos de ponto por kernels na formulação primária.