Eficiência de regressão de Kernel Ridge

A regressão de cume pode ser expressa como que é o rótulo previsto , o identificar matriz, o objeto que está tentando encontrar um rótulo para e o matriz de objetos tal que:

$$\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}x$$ Iddxdxxnxdnxi=(xi,1,...,Xi,d)∈R$\hat{y}$$\mathbf{I}_d$$d \times d$$\mathbf{x}$$\mathbf{X}$$n \times d$$n$$\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d$

$$\mathbf{X} = \begin{pmatrix} x_{1,1} & x_{1,2} & \ldots & x_{1,d}\\ x_{2,1} & x_{2,2} & \ldots & x_{2,d}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n,1} & x_{1,2} &\ldots & x_{n,d} \end{pmatrix}$$

Podemos fazer o kernel da seguinte maneira:

$$\hat{y} = (\mathbf{\mathcal{K}} + a\mathbf{I}_d)^{-1} \mathbf{k}$$

onde $\mathbf{\mathcal{K}}$ é a matriz $n \times n$ das funções do kernel $K$

$$\mathcal{K} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x}_1) & K(\mathbf{x}_1,\mathbf{x}_2) & \ldots & K(\mathbf{x}_1,\mathbf{x}_n)\\ K(\mathbf{x}_2,\mathbf{x}_1) & K(\mathbf{x}_2,\mathbf{x}_2) & \ldots & K(\mathbf{x}_2,\mathbf{x}_n)\\ \vdots & \vdots & \ddots & \vdots\\ K(\mathbf{x}_n,\mathbf{x}_1) & K(\mathbf{x}_n,\mathbf{x}_2) &\ldots & K(\mathbf{x}_n,\mathbf{x}_n) \end{pmatrix}$$

e $\mathbf{k}$ o vetor de coluna $n \times 1$ das funções do kernel $K$

$$\mathbf{k} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x})\\ K(\mathbf{x}_2,\mathbf{x}) \\ \vdots \\ K(\mathbf{x}_n,\mathbf{x}) \end{pmatrix}$$

Questões:

(a) se houver mais objetos que dimensões, faz sentido não usar kernels? Por exemplo, seja uma matriz , em seguida, será e acabaremos invertendo uma matriz vez dos matriz teríamos que inverter se usássemos kernels. Isso significa que, se , não devemos usar kernels?X 50×3 X ′ X 3×33×350×50d≤$\mathbf{x}_i$$\mathbf{X}$$50 \times 3$$\mathbf{X}'\mathbf{X}$$3 \times 3$$3 \times 3$$50 \times 50$$d \leq n$

(b) o kernel mais simples possível deve ser usado? Parece que os kernels na regressão de crista são usados ​​para negar as influências da dimensionalidade e não para utilizar determinadas propriedades do espaço de recurso (diferentemente das máquinas de vetores de suporte). Embora os kernels possam alterar as distâncias entre os objetos, existem kernels populares frequentemente usados ​​na regressão de crista?

(c) qual é a complexidade do tempo da regressão de crista e / ou regressão de crista do núcleo?$O$

(a) O objetivo do uso de um kernel é resolver um problema de regressão não linear neste caso. Um bom kernel permitirá que você resolva problemas em um espaço de recurso possivelmente com dimensões infinitas. Porém, usar um kernel linear e fazer a regressão da crista do kernel no espaço duplo é o mesmo que resolver o problema no espaço primal , ou seja, não traz nenhuma vantagem (é muito mais lento à medida que o número de amostras cresce conforme você observou).$K(\mathbf{x,y}) = \mathbf{x}^\top \mathbf{y}$

(b) Uma das opções mais populares é o kernel exponencial quadrado que é universal (veja ref abaixo). Existem muitos kernels, e cada um deles induzirá um produto interno diferente (e, portanto, métrico) ao seu espaço de recurso.$K(x,y) = \exp(-\frac{\tau}{2} ||\mathbf{x}-\mathbf{y}||^2)$

(c) A implementação direta requer a solução de uma equação linear de tamanho , portanto é . Existem muitos métodos de aproximação mais rápidos, como a aproximação de Nyström. Esta é uma área de pesquisa ativa.O ( n 3$n$$O(n^3)$

Referências:

1. Bharath Sriperumbudur, Kenji Fukumizu e Gert Lanckriet. Sobre a relação entre universalidade, núcleos característicos e incorporação de medidas pelo RKHS. Journal of Machine Learning Research, 9: 773-780, 2010.
2. Bernhard Schlkopf, Alexander J. Smola. Aprendendo com kernels: suporte a máquinas de vetores, regularização, otimização e além de 2002