Regressão incremental do processo gaussiano

Eu quero implementar uma regressão de processo gaussiana incremental usando uma janela deslizante sobre os pontos de dados que chegam um por um através de um fluxo.

Deixe denotam a dimensionalidade do espaço de entrada. Portanto, todo ponto de dados possui um número d de elementos.$d$$x_i$$d$

Seja $n$ o tamanho da janela deslizante.

Para fazer previsões, eu preciso calcular o inverso da matriz grama $K$ , onde $K_{ij} = k(x_i, x_j)$ ek é o núcleo exponencial ao quadrado.

Para evitar que o K fique maior a cada novo ponto de dados, pensei em remover o ponto de dados mais antigo antes de adicionar novos pontos e, assim, impedir que o grama cresça. Por exemplo, deixe $K = \phi(X)^{T}\Sigma\phi(X)$ onde $\Sigma$ é a covariância dos pesos e $\phi$ é a função de mapeamento implícita implícita no núcleo exponencial ao quadrado.

Agora vamos $X=[x_{t-n+1}|x_{t-n+2}|...|x_{t}$ ] e $X_{new}=[x_{t-n+2}|...|x_{t}|x_{t+1}]$ onde $x$ são $d$ por matrizes de $1$ coluna.

Eu preciso de uma maneira eficaz de descobrir o $K_{new}^{-1}$ potencialmente usando $K$ . Isso não parece o inverso de um problema de matriz atualizado de classificação 1 que pode ser tratado com eficiência com a fórmula de Sherman-Morrison.

Existem vários algoritmos recursivos para fazer isso. Você deve examinar o algoritmo de mínimos quadrados recursivos do kernel (KRLS) e os algoritmos de GP online relacionados.

• Van Vaerenbergh, S., Santamaria, I., Liu, W. e Principe, JC (2010). Mínimos quadrados recursivos do kernel de orçamento fixo . In Acoustics Speech and Signal Processing (ICASSP), Conferência Internacional IEEE de 2010, páginas 1882-1885. IEEE.
• Lazaro-Gredilla, M., Van Vaerenbergh, S. e Santamaria, I. (2011). Uma abordagem bayesiana para rastrear com mínimos quadrados recursivos do kernel . Em Aprendizado de Máquina para Processamento de Sinais (MLSP), Workshop Internacional IEEE de 2011, páginas 1-6. IEEE.
• Perez-Cruz, F., Van Vaerenbergh, S., Murillo-Fuentes, JJ, Lazaro-Gredilla, M. e Santamaria, I. (2013). Processos gaussianos para processamento de sinal não linear: uma visão geral dos avanços recentes . IEEE Signal Processing Magazine, 30 (4): 40-50.

A estimativa gradual dos modelos GP é bem estudada na literatura. A idéia subjacente é, em vez de condicionar todas as novas observações que você deseja prever, condicionar no ponto um passo à frente e fazer isso repetidamente. Isso se torna, de alguma forma, próximo à filtragem kalman.