Como entender o efeito do RBF SVM

17

Como posso entender o que o RBF Kernel no SVM faz? Quero dizer, eu entendo a matemática, mas existe uma maneira de ter uma ideia de quando esse kernel será útil?

Os resultados do kNN estariam relacionados ao SVM / RBF, já que o RBF contém distâncias vetoriais?

Existe uma maneira de obter uma ideia do kernel polinomial? Eu sei que quanto maior a dimensão, mais ondulada ela é. Mas eu gostaria de ter uma intuição do que os kernels fazem, em vez de tentar todos os kernels possíveis e escolher os que têm mais sucesso.

Gerenuk
fonte

Respostas:

29

Você pode começar analisando uma das minhas respostas aqui:
Classificação SVM não linear com o kernel RBF

Nesta resposta, tento explicar o que uma função do kernel está tentando fazer. Depois de entender o que ele tenta fazer, como acompanhamento, você pode ler minha resposta a uma pergunta no Quora: https://www.quora.com/Machine-Learning/Why-does-the-RBF- função-base-radial-mapa-do-kernel-no-espaço-dimensional-infinito / resposta / Arun-Iyer-1

Reproduzir o conteúdo da resposta no Quora, caso você não tenha uma conta no Quora.

Pergunta: Por que o kernel RBF (função de base radial) é mapeado para o espaço dimensional infinito? Resposta: Considere o núcleo polinomial de grau 2 definido por, , onde x , y R 2 e x = ( x 1 , x 2 ) , y = ( y 1 , y 2 ) .

k(x,y)=(xTy)2
x,yR2x=(x1,x2),y=(y1,y2)

Assim, a função do kernel pode ser escrita como, Agora, vamos tentar criar um mapa de recursos Φ de modo que a função do kernel possa ser escrita como k ( x ,

k(x,y)=(x1y1+x2y2)2=x12y12+2x1x2y1y2+x22y22
Φ .k(x,y)=Φ(x)TΦ(y)

Considere o seguinte mapa de recursos, Basicamente, este mapa de recursos está mapeando os pontos em R 2para os pontos em R 3. Observe também que,Φ(x)TΦ(y)=x 2 1 y 2 1 +2x1x2y1y2+x 2 2 y 2 2, que é essencialmente a nossa função do kernel.

Φ(x)=(x12,2x1x2,x22)
R2R3
Φ(x)TΦ(y)=x12y12+2x1x2y1y2+x22y22

Isto significa que a nossa função kernel é realmente de computação do interior / cs produto de pontos em . Ou seja, ele está mapeando implicitamente nossos pontos de R 2 a R 3 .R3R2R3

Questão de Exercício : Se seus pontos estão em , um núcleo polinomial de grau 2 o mapeará implicitamente para algum espaço vetorial F. Qual é a dimensão desse espaço vetorial F? Dica: Tudo o que fiz acima é uma pista.Rn

Agora, vindo para a RBF.

R2

k(x,y)=exp(xy2)=exp((x1y1)2(x2y2)2)
=exp(x12+2x1y1y12x22+2x2y2y22)
=exp(x2)exp(y2)exp(2xTy)
k(x,y)=exp(x2)exp(y2)n=0(2xTy)nn!
ΦR2

Pergunta do exercício : Obtenha os primeiros elementos vetoriais do mapa de recursos do RBF para o caso acima?

Agora, a partir da resposta acima, podemos concluir algo:

  • Φ
  • ΦR2Φ(x)=(x12,2x1x2,x22)
TenaliRaman
fonte