Como provar que não há espaço de recurso de dimensão finita para o kernel Gaussian RBF?

14

Como provar que, para a função de base radial não existe espaço de característica finito-dimensional tal que para alguns temos ?k(x,y)=exp(||xy||2)2σ2)HΦ:RnHk(x,y)=Φ(x),Φ(y)

Leo
fonte
Essa pergunta é mais apropriada para a matemática?
Leo
1
Um possível plano de ataque seria exibir um subespaço de que não está fechado. H
Nick Alger
@ Nick Alger: talvez isso ajude: stats.stackexchange.com/questions/80398/…

Respostas:

11

O teorema de Moore-Aronszajn garante que um núcleo definido positivo simétrico esteja associado a um espaço único de Hilbert do núcleo em reprodução. (Observe que, embora o RKHS seja único, o próprio mapeamento não é.)

Portanto, sua pergunta pode ser respondida exibindo um RKHS de dimensão infinita correspondente ao kernel Gaussiano (ou RBF). Você pode encontrar um estudo aprofundado disso em " Uma descrição explícita dos espaços Hilbert do kernel em reprodução dos núcleos Gaussian RBF ", Steinwart et al.

PierreChc
fonte
2

Suponha que o kernel Gaussian RBF esteja definido no domínio X × X, em que X contém um número infinito de vetores. Pode-se provar ( Gaussian Kernels, Por que eles são posto completo? ) Que para qualquer conjunto de vetores distintos x 1 , . . . , X mX matriz ( k ( x i , x j ) ) m × m não é singular, o que significa que os vectores de Φ (k(x,y)X×XXx1,...,xmX(k(xi,xj))m×m são linearmente independentes. Portanto, um espaço de recurso H para o kernel k não pode ter um número finito de dimensões.Φ(x1),...,Φ(xm)Hk

Leo
fonte
Aqui você encontra uma explicação mais "intuitiva" de que o pode mapear em um pedaço de dimensão igual ao tamanho da amostra de treinamento, mesmo para uma amostra infinita de treinamento: stats.stackexchange.com/questions/80398/…Φ