No SVM, o kernel gaussiano é definido como: onde x, y \ em \ mathbb {R ^ n} . Não conheço a equação explícita de \ phi . Eu quero saber.
Eu também quero saber se
onde . Agora, acho que não é igual, porque o uso de um kernel lida com a situação em que o classificador linear não funciona. Eu sei que projeta x para um espaço infinito. Portanto, se ele ainda permanecer linear, não importa quantas dimensões, svm ainda não poderá fazer uma boa classificação.
machine-learning
svm
kernel-trick
Vivian
fonte
fonte
Respostas:
Você pode obter a equação explícita de para o kernel gaussiano através da expansão da série Tailor de . Para simplificar a notação, assuma :ϕ ex x∈R1
Isso também é discutido em mais detalhes nesses slides por Chih-Jen Lin, da NTU (slide 11 especificamente). Observe que nos slides é usado como parâmetro do kernel.γ=12σ2
A equação no OP vale apenas para o kernel linear.
fonte
Para qualquer kernel psd válido , existe um mapa de recursos φ : X → H tal que . O espaço e embedding na verdade não precisam ser exclusivos, mas existe um par exclusivo importante conhecido como espaço Hilbert em reprodução (RKHS).k:X×X→R φ:X→H k(x,y)=⟨φ(x),φ(y)⟩H H φ (H,φ)
O RKHS é discutido por: Steinwart, Hush and Scovel, uma descrição explícita dos espaços de Hilbert do núcleo reprodutor dos núcleos Gaussian RBF , transações do IEEE sobre a teoria da informação 2006 ( doi , livre citeseer pdf ).
É um pouco complicado, mas tudo se resume a isso: defina comoen:C→C
Seja uma sequência que varia entre todos os pares de números inteiros não negativos; se , talvez , , e assim por diante. Indique o ésimo componente da ésima tupla por .n:N0→Nd0 d d=3 n(0)=(0,0,0) n(1)=(0,0,1) n(2)=(0,1,1) j i nij
Então o ésimo componente de é . Então mapeia vetores em para vetores complexos de dimensão infinita.i φ(x) ∏dj=1enij(xj) φ Rd
O problema disso é que ainda precisamos definir normas para esses vetores complexos de dimensão infinita de uma maneira especial; consulte o documento para obter detalhes.
Steinwart et al. também dá uma incorporação mais direta (a meu ver) a , o espaço Hilbert de funções quadráticas integráveis de : Note-se que é ela própria uma função de a . É basicamente a densidade de um Gaussiano dimensional com média e covariância ; somente a constante de normalização é diferente. Assim, quando tomamosL2(Rd) Rd→R
Estes não são os únicos casamentos que funcionam.
Outra é baseada na transformação de Fourier, que o célebre artigo de Rahimi e Recht ( Recursos Aleatórios para Máquinas de Kernel em Grande Escala , NIPS 2007) se aproxima com grande efeito.
Você também pode fazer isso usando a série Taylor: efetivamente a versão infinita de Cotter, Keshet e Srebro, aproximações explícitas do kernel gaussiano , arXiv: 1109.4603 .
fonte
Parece-me que sua segunda equação só será verdadeira se for um mapeamento linear (e, portanto, K for um núcleo linear). Como o núcleo gaussiano não é linear, a igualdade não se mantém (exceto talvez no limite, pois σ vai a zero).ϕ K σ
fonte