Interpretação probabilística de splines de suavização de placas finas

TLDR: As splines de regressão em placas finas têm uma interpretação probabilística / bayesiana?

Dado pares de entrada-saída $(x_i,y_i)$ , $i=1,...,n$ ; Eu quero estimar uma função $f(\cdot)$ seguinte forma

f (x) \approx u (x) = ϕ (x_{i})^{T} β + \sum_{i = 1}^{n} α_{i} k (x, x_{i}),

$\begin{equation}f(x)\approx u(x)=\phi(x_i)^T\beta +\sum_{i=1}^n \alpha_i k(x,x_i),\end{equation}$

k (\cdot, \cdot)

$k(\cdot,\cdot)$

ϕ (x_{i})

$\phi(x_i)$

m < n

$m<n$

α_{i}

$\alpha_i$

β_{i}

$\beta_i$

min_{α \in R^{n}, β \in R^{m}} \frac{1}{n} ‖ Y - Φ β - K α ‖_{R^{n}}^{2} + λ α^{T} K α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n},\beta \in R^{m}}{\frac {1}{n}}\|Y-\Phi\beta -K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}$

Φ

$\Phi$

ϕ (x_{i})^{T}

$\phi(x_i)^T$

i, j

$i,j$

K

$K$

k (x_{i}, x_{j})

$k(x_{i},x_{j})$

α^{*} = λ^{- 1} (I + λ^{- 1} K)^{- 1} (Y - Φ β^{*})

$\begin{equation} \alpha^*=\lambda^{-1}(I+\lambda^{-1}K)^{-1}(Y-\Phi\beta^*) \end{equation}$

β^{*} = {Φ^{T} (I + λ^{- 1} K)^{- 1} Φ}^{- 1} Φ^{T} (I + λ^{- 1} K)^{- 1} Y .

$\begin{equation} \beta^*=\{\Phi^T(I+\lambda^{-1}K)^{-1}\Phi\}^{-1}\Phi^T(I+\lambda^{-1}K)^{-1}Y. \end{equation}$ Supondo que

k (\cdot, \cdot)

$k(\cdot,\cdot)$ seja uma função definida positiva do kernel, esta solução pode ser vista como o melhor preditor linear e imparcial do seguinte modelo bayesiano:

y | (β, h (\cdot)) \sim N (ϕ (x) β + h (x), σ^{2}),

$\begin{equation} y~\vert~(\beta,h(\cdot))~\sim~N(\phi(x)\beta+h(x),\sigma^2), \end{equation}$

h (\cdot) \sim G P (0, τ k (\cdot, \cdot)),

$\begin{equation} h(\cdot)~\sim~GP(0,\tau k(\cdot,\cdot)), \end{equation}$

β \propto 1,

$\begin{equation} \beta\propto1, \end{equation}$ que

σ^{2} / τ = λ

$\sigma^2/\tau=\lambda$ e

G P

$GP$ denota um processo gaussiano. Veja por exemplohttps://www.ncbi.nlm.nih.gov/pmc/articles/PMC2665800/

Minha pergunta é a seguinte. Suponha que eu deixe $k(x,x'):=|x-x'|^2 \ln(|x-x'|)$ e $\phi(x)^T=(1,x)$ , isto é, spline de placa fina regressão. Agora, $k(\cdot,\cdot)$ não é uma função semidefinida positiva e a interpretação acima não funciona. O modelo acima e sua solução ainda têm uma interpretação probabilística, como no caso em que $k(\cdot,\cdot)$ é semidefinido positivo?

regression bayesian gaussian-process smoothing semiparametric MthQ
fonte

Você parece assumir o está em uma espaço dimensional com ou pelo menos é o inteiro é mesmo.

x

$x$

d

$d$

d = 2

$d=2$

d

$d$

Yves

Ok, então quais são as implicações?

MthQ 11/0318

Este foi apenas um comentário secundário, porque na questão pode-se pensar que são escalares. Mas, neste caso, o kernel de Duchon tem a forma com inteiro, e para o spline de suavização usual. Penso que a interpretação probabilística permanece quase inalterada, mas o GP não é estacionário: é uma Função Aleatória Intrínseca . Para o spline de suavização usual, esse acaba sendo um processo Wiener integrado.

x_{i}

$x_i$

| x - x^{'} |^{2 m - 1}

$|x - x'|^{2m-1}$

m

$m$

m = 2

$m=2$

Yves

@ Yves isso parece interessante. Você pode expandir seu comentário para uma resposta, explicando um pouco mais o que é uma função aleatória intrínseca e adicionando o exemplo clássico do spline de suavização. Se você se preocupa em provar que o kernel do TPS gera um GP não estacionário, talvez uma simulação possa ser um compromisso útil, especialmente se você adicionar uma estimativa não paramétrica da variação da distribuição preditiva posterior.

DeltaIV

@DeltaIV. Obrigado. Vou tentar fazê-lo, ainda não é uma tarefa fácil. Estou certo de que isso quando as funções são polinômios adequados relacionados ao kernel, mas isso pode não ser mais verdade com arbitrário como no contexto mais clássico do GP.

ϕ_{j}

$\phi_j$

ϕ_{j}

$\phi_j$

Yves

Deixe o modelo da pergunta ser escrito como que é um GP não observado com índice e é um termo de ruído normal com variância . Presume-se que o GP seja centrado, estacionário e não determinístico. Observe que o termo pode ser considerado como um GP (determinístico) com o kernel que

\begin{matrix} (1) & Y_{i} = ϕ (x_{i})^{⊤} β + h (x_{i}) + ε_{i} \end{matrix}

$\begin{equation} \tag{1} Y_i = \boldsymbol{\phi}(\mathbf{x}_i)^\top\boldsymbol{\beta} + h(\mathbf{x}_i) + \varepsilon_i \end{equation}$

h (x)

$h(\mathbf{x})$

x \in R^{d}

$\mathbf{x} \in \mathbb{R}^d$

ε_{i}

$\varepsilon_i$

σ^{2}

$\sigma^2$

ϕ (x)^{⊤} β

$\boldsymbol{\phi}(\mathbf{x})^\top \boldsymbol{\beta}$

ϕ (x)^{⊤} B ϕ (x)

$\boldsymbol{\phi}(\mathbf{x})^\top \mathbf{B}\, \boldsymbol{\phi}(\mathbf{x})$

B

$\mathbf{B}$ é uma matriz de covariância de `` valor infinito ''. De fato, tomando com , obtemos as equações de krigagem da pergunta. Isso geralmente é chamado de difuso anterior para . Um posterior adequado para resulta apenas quando a matriz possui classificação completa. Portanto, o modelo escreve e que é um GP . A mesma interpretação de Bayes pode ser usada com restrições quando não é mais um GP, mas é um

B := ρ I

$\mathbf{B} := \rho \, \mathbf{I}$

ρ \to \infty

$\rho \to \infty$

β

$\boldsymbol{\beta}$

β

$\boldsymbol{\beta}$

Φ

$\boldsymbol{\Phi}$

\begin{matrix} (2) & Y_{i} = ζ (x_{i}) + ε_{i} \end{matrix}

$\begin{equation} \tag{2} Y_i = \zeta(\mathbf{x}_i) + \varepsilon_i \end{equation}$

ζ (x)

$\zeta(\mathbf{x})$

ζ (x)

$\zeta(\mathbf{x})$ Função aleatória intrínseca (IRF). A derivação pode ser encontrada no livro de G. Wahba. Apresentações legíveis do conceito de IRF estão, por exemplo, no livro de N. Cressie e no artigo de Mardia et al. Os IRFs são semelhantes aos conhecidos processos integrados no contexto de tempo discreto (como o ARIMA): um IRF é transformado em um GP clássico por um tipo de operação diferenciada.

Aqui estão dois exemplos de IRF para . Primeiramente, considere um processo de Wiener com sua condição inicial substituída por uma condição inicial difusa : é normal com uma variação infinita. Depois que um valor é conhecido, o IRF pode ser previsto como o Wiener GP. Em segundo lugar, considere um processo integrado de Wiener fornecido pela equação em que é um processo de Wiener. Para obter um GP, agora precisamos de dois parâmetros escalares: dois valores e para $d=1$ $\zeta(x)$ $\zeta(0) = 0$ $\zeta(0)$ $\zeta(x)$

d^{2} ζ (x) / d x^{2} = d W (x) / d x

$\text{d}^2 \zeta(x) / \text{d}x^2 = \text{d} W(x)/\text{d}x$

W (x)

$W(x)$

ζ (x)

$\zeta(x)$

ζ (x^{'})

$\zeta(x')$

x \neq x^{'}

$x \neq x'$ ou os valores e em algum escolhido . Podemos considerar que os dois parâmetros extras são em conjunto gaussianos com uma matriz de covariância infinita . Em ambos os exemplos, assim que um conjunto finito de observações estiver disponível, o IRF é quase como um GP. Além disso utilizou-se um operador diferencial: e , respectivamente. O espaço nulo é um espaço linear de funções tal que . Ele contém a função constante

ζ (x)

$\zeta(x)$

d ζ (x) / d x

$\text{d}\zeta(x) / \text{d}x$

x

$x$

2 \times 2

$2 \times 2$

L := d / d x

$L := \text{d}/ \text{d}x$

L := d^{2} / d x^{2}

$L := \text{d}^2/ \text{d}x^2$

F

$\mathcal{F}$

ϕ (x)

$\phi(x)$

L ϕ = 0

$L \phi = 0$

ϕ_{1} (x) = 1

$\phi_1(x)=1$ no primeiro caso e as funções e no segundo caso. Observe que no primeiro exemplo é GP para qualquer fixo no primeiro exemplo e da mesma forma é um GP no segundo caso.

ϕ_{1} (x) = 1

$\phi_1(x)=1$

ϕ_{2} (x) = x

$\phi_2(x) = x$

ζ (x) - ζ (x + δ)

$\zeta(x) - \zeta(x + \delta)$

δ

$\delta$

ζ (x - δ) - 2 ζ (x) + ζ (x + δ)

$\zeta(x-\delta) - 2 \zeta(x) + \zeta(x + \delta)$

Para uma dimensão geral , considere um espaço linear de funções definidas em . Chamamos um incremento relativo a um conjunto finito de locais e pesos reais tal que Considere como o espaço nulo de nossos exemplos. Para o primeiro exemplo, podemos usar, por exemplo, com e arbitrários e $d$ $\mathcal{F}$ $\mathbb{R}^d$ $\mathcal{F}$ $s$ $\mathbf{x}_i \in \mathbb{R}^d$ $s$ $\nu_i$

\sum_{i = 1}^{s} ν_{i} ϕ (x_{i}) = 0 for all ϕ \in F .

$\sum_{i=1}^s \, \nu_i \,\phi(\mathbf{x}_i) = 0 \text{ for all } \phi \in \mathcal{F}.$

F

$\mathcal{F}$

s = 2

$s=2$

x_{1}

$x_1$

x_{2}

$x_2$

[1, - 1]

$[1, \, -1]$ . Para o segundo exemplo, podemos considerar igualmente espaçados e . A definição de um IRF envolve um espaço de funções e uma função que é condicionalmente positiva wrt , o que significa que permanece assim que é um incremento wrt . De e

s = 3

$s = 3$

x_{i}

$x_i$

ν = [1, - 2, 1]

$\boldsymbol{\nu} = [1,\,-2,\,1]$

F

$\mathcal{F}$

g (x, x^{'})

$g(\mathbf{x}, \, \mathbf{x}')$

F

$\mathcal{F}$

\sum_{i = 1}^{s} \sum_{j = 1}^{s} ν_{i} ν_{j} g (x_{i}, x_{j}^{'}) \geq 0

$\sum_{i=1}^s \sum_{j=1}^s \nu_i \nu_j \, g(\mathbf{x}_i, \, \mathbf{x}'_j) \geq 0$

[ν_{i}, x_{i}]_{i = 1}^{s}

$[\nu_i,\,\mathbf{x}_i]_{i=1}^s$

F

$\mathcal{F}$

F

$\mathcal{F}$

g (x, x^{'})

$g(\mathbf{x},\,\mathbf{x}')$ podemos fazer um núcleo de covariância, portanto, um GP, como em Mardia et al. Podemos começar a partir de um operador diferencial linear e usar o espaço nulo como ; o IRF terá então conexão com a equação um ruído gaussiano.

L

$L$

F

$\mathcal{F}$

L ζ =

$L \zeta =$

O cálculo da previsão do IRF é quase o mesmo da pergunta, com substituído por , mas com o agora formando uma base de . A restrição extra deve ser adicionada no problema de otimização, que concederá esse . Ainda podemos adicionar mais funções básicas que não estão em se necessário; isso terá o efeito de adicionar um GP determinístico, digamos ao IRF $k(\mathbf{x},\,\mathbf{x}')$ $g(\mathbf{x},\,\mathbf{x}')$ $\phi_i(\mathbf{x})$ $\mathcal{F}$ $\boldsymbol{\Phi}^\top \boldsymbol{\alpha} = \mathbf{0}$ $\boldsymbol{\alpha}^\top \mathbf{K} \boldsymbol{\alpha} \geq 0$ $\mathcal{F}$ $\boldsymbol{\psi}(\mathbf{x})^\top\boldsymbol{\gamma}$ $\zeta(\mathbf{x})$ em (2).

O spline de placa fina depende de um número inteiro tal que , o espaço contenha polinômios de baixo grau, com a dimensão dependendo de e . Pode-se mostrar que se é a seguinte função para depois define um wrt condicionalmente positivo . A construção refere-se a um operador diferencial $m$ $m> 2d$ $\mathcal{F}$ $p(m)$ $m$ $d$ $E(r)$ $r \geq 0$

E (r) := {\begin{cases} (- 1)^{m + 1 + d / 2} r^{2 m - d} \log r & d even, \\ r^{2 m - d} & d odd, \end{cases}

$E(r) := \begin{cases} (-1)^{m + 1 + d /2} \, r^{2m-d} \log r & d \text{ even},\\ r^{2m-d} & d \text{ odd,} \end{cases}$

g (x, x^{'}) := E (‖ x - x^{'} ‖)

$g(\mathbf{x},\,\mathbf{x}') := E(\|\mathbf{x} - \mathbf{x}'\|)$

F

$\mathcal{F}$

L

$L$ . Acontece que, para e a ranhura fina de chapa é nada além da ranhura cúbica natural usual, que se refere ao exemplo integrado de Wiener acima, com . Portanto, (2) nada mais é do que o modelo de spline de suavização usual. Quando e o espaço nulo tem dimensão e é gerado pelas funções , e .

d = 1

$d=1$

m = 2

$m=2$

g (x, x^{'}) = | x - x^{'} |^{3}

$g(x,\,x') = |x - x'|^3$

d = 2

$d=2$

m = 2

$m=2$

p (m) = 3

$p(m)=3$

1

$1$

x_{1}

$x_1$

x_{2}

$x_2$

Estatísticas de Cressie N para dados espaciais . Wiley 1993.

Mardia KV, Kent JT, Goodall CR e Little JA. Krigagem e splines com informações derivadas. Biometrika (1996), 83,1, pp. 207-221.

Modelos Wahba G Spline para dados observacionais . SIAM 1990.

Wang, Y Suavizando splines, métodos e aplicações . Chapman e Hall, 2011.

Yves
fonte

Muito obrigado pelo esforço realizado. Extremamente útil. Eu tenho uma pergunta adicional. Portanto, adicionar funções adicionais a (além das funções de ) não altera a interpretação de . O que notei, no entanto, é que a solução dada na minha pergunta acima sempre satisfaz , não apenas se . Como isso pode ser interpretado?

ϕ (\cdot)

$\boldsymbol{\phi}(\cdot)$

F

$\mathcal{F}$

ζ (\cdot)

$\zeta(\cdot)$

α^{*}

$\alpha^*$

Φ^{⊤} α = 0

$\boldsymbol{\Phi}^\top \boldsymbol{\alpha} = \mathbf{0}$

ϕ (\cdot) \in F

$\boldsymbol{\phi}(\cdot)\in \mathcal{F}$

MthQ 19/0318

Sim. Nos dois casos, existem funções básicas na aproximação de , enquanto apenas observações são usadas. Portanto, temos algo como uma regressão com classificação deficiente com coeficientes e . Como a parte não é penalizada, tende a "absorver" mais da variação de do que a parte que traz restrições lineares. Note que nada proíbe o uso de algumas das "mudanças do kernel" funções como . Se usarmos todos eles, todos

n + p

$n+p$

f (x)

$f(x)$

n

$n$

β_{i}

$\beta_i$

α_{j}

$\alpha_j$

β

$\beta$

y

$y$

α

$\alpha$

p

$p$

n

$n$

x \mapsto k (x, x_{i})

$x \mapsto k(x, x_i)$

ϕ_{j} (x)

$\phi_j(x)$

α_{j}^{⋆}

$\alpha_j^\star$ são zero, o que parece sensato.

Yves

Interpretação probabilística de splines de suavização de placas finas

Respostas: