Como entender o efeito do RBF SVM

Como posso entender o que o RBF Kernel no SVM faz? Quero dizer, eu entendo a matemática, mas existe uma maneira de ter uma ideia de quando esse kernel será útil?

Os resultados do kNN estariam relacionados ao SVM / RBF, já que o RBF contém distâncias vetoriais?

Existe uma maneira de obter uma ideia do kernel polinomial? Eu sei que quanto maior a dimensão, mais ondulada ela é. Mas eu gostaria de ter uma intuição do que os kernels fazem, em vez de tentar todos os kernels possíveis e escolher os que têm mais sucesso.

Você pode começar analisando uma das minhas respostas aqui:
Classificação SVM não linear com o kernel RBF

Nesta resposta, tento explicar o que uma função do kernel está tentando fazer. Depois de entender o que ele tenta fazer, como acompanhamento, você pode ler minha resposta a uma pergunta no Quora: https://www.quora.com/Machine-Learning/Why-does-the-RBF- função-base-radial-mapa-do-kernel-no-espaço-dimensional-infinito / resposta / Arun-Iyer-1

Reproduzir o conteúdo da resposta no Quora, caso você não tenha uma conta no Quora.

Pergunta: Por que o kernel RBF (função de base radial) é mapeado para o espaço dimensional infinito? Resposta: Considere o núcleo polinomial de grau 2 definido por, , onde x , y ∈ R 2 e x = ( x 1 , x 2 ) , y = ( y 1 , y 2 ) .

$$k(x, y) = (x^Ty)^2$$ $x, y \in \mathbb{R}^2$$x = (x_1, x_2), y = (y_1, y_2)$

Assim, a função do kernel pode ser escrita como, Agora, vamos tentar criar um mapa de recursos Φ de modo que a função do kernel possa ser escrita como k ( x

$$k(x, y) = (x_1y_1 + x_2y_2)^2 = x_{1}^2y_{1}^2 + 2x_1x_2y_1y_2 + x_{2}^2y_{2}^2$$ $\Phi$ .$k(x, y) = \Phi(x)^T\Phi(y)$

Considere o seguinte mapa de recursos, Basicamente, este mapa de recursos está mapeando os pontos em R 2para os pontos em R 3. Observe também que,Φ(x)TΦ(y)=x 2 1 y 2 1 +2x1x2y1y2+x 2 2 y 2 2, que é essencialmente a nossa função do kernel.

$$\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$$ $\mathbb{R}^2$$\mathbb{R}^3$ $$\Phi(x)^T\Phi(y) = x_1^2y_1^2 + 2x_1x_2y_1y_2 + x_2^2y_2^2$$

Isto significa que a nossa função kernel é realmente de computação do interior / cs produto de pontos em . Ou seja, ele está mapeando implicitamente nossos pontos de R 2 a R 3 .$\mathbb{R}^3$$\mathbb{R}^2$$\mathbb{R}^3$

Questão de Exercício : Se seus pontos estão em , um núcleo polinomial de grau 2 o mapeará implicitamente para algum espaço vetorial F. Qual é a dimensão desse espaço vetorial F? Dica: Tudo o que fiz acima é uma pista.$\mathbb{R}^n$

Agora, vindo para a RBF.

$\mathbb{R}^2$

$$k(x, y) = \exp(-\|x - y\|^2) = \exp(- (x_1 - y_1)^2 - (x_2 - y_2)^2)$$ $$= \exp(- x_1^2 + 2x_1y_1 - y_1^2 - x_2^2 + 2x_2y_2 - y_2^2)$$ $$= \exp(-\|x\|^2) \exp(-\|y\|^2) \exp(2x^Ty)$$ $$k(x, y) = \exp(-\|x\|^2) \exp(-\|y\|^2) \sum_{n = 0}^{\infty} \frac{(2x^Ty)^n}{n!}$$ $\Phi$$\mathbb{R}^2$

Pergunta do exercício : Obtenha os primeiros elementos vetoriais do mapa de recursos do RBF para o caso acima?

Agora, a partir da resposta acima, podemos concluir algo:

• $\Phi$
• $\Phi$$\mathbb{R}^2$$\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$