A definição splines cúbicos naturais para regressão

Estou aprendendo sobre splines do livro "Os elementos de mineração, inferência e previsão de dados estatísticos de aprendizagem", de Hastie et al. Eu descobri na página 145 que splines cúbicos naturais são lineares além dos nós dos limites. Existem , nos splines e o seguinte é fornecido sobre esse spline no livro.$K$$\xi_1, \xi_2, ... \xi_K$

Pergunta 1: Como são liberados 4 graus de liberdade? Eu não entendo essa parte.

Pergunta 2 : Na definição de quando então . O que o autor está tentando fazer nesta fórmula? Como isso ajuda a garantir que os splines sejam lineares além dos nós dos limites?$d_k(X)$$k=K$$d_K(X) = \frac 0 0$

1. Vamos começar considerando splines cúbicos comuns. Eles são cúbicos entre cada par de nós e cúbicos fora dos nós de fronteira. Começamos com 4df para o primeiro cúbico (à esquerda do primeiro nó de limite) e cada nó adiciona um novo parâmetro (porque a continuidade de splines e derivadas cúbicas e as segundas derivadas adicionam três restrições, deixando um parâmetro livre), perfazendo um total de parâmetros para K knots.$K+4$$K$

   Um spline cúbico natural é linear nas duas extremidades. Isto limita as peças cúbicas e quadráticas há a 0, cada reduzindo o df por 1. Isso é df 2 em cada uma das duas extremidades da curva, reduzindo para K .$K+4$$K$

   Imagine que você decide que pode gastar um número total de graus de liberdade ( , digamos) em sua estimativa de curva não paramétrica. Como a imposição de um spline natural utiliza 4 graus de liberdade a menos do que um spline cúbico comum (para o mesmo número de nós), com esses parâmetros p você pode ter mais 4 nós (e mais 4 parâmetros) para modelar a curva entre os nós de limite .$p$$p$

2. Note-se que a definição para é para k = 1 , 2 , . . . , K - 2 (já que existem todas as funções básicas de K ). Portanto, a última função básica nessa lista, N K = d K - 2 - d K - 1 . Portanto, o k mais alto necessário para as definições de d k é para k = K - $N_{k+2}$$k=1,2,...,K-2$$K$$N_{K}=d_{K-2}-d_{K-1}$$k$$d_k$$k=K-1$. (Ou seja, não precisamos tentar descobrir o que alguns podem fazer, pois não os usamos.)$d_K$

Eu detalho a asserção: "Isso libera quatro graus de liberdade (duas restrições cada uma nas duas regiões de fronteira)" em um exemplo com nós ξ 1 , ξ 2 . Os intervalos relacionados são ] - ∞ , ξ 1 [ , ] ξ 1 , ξ 2 [ e ] ξ 2 , + ∞ [ (para que existam | I | = 3 intervalos e | I | - 1 = $2$$\xi_1, \xi_2$$]-\infty, \xi_1[$$]\xi_1, \xi_2[$$]\xi_2, +\infty[$$|I|=3$$|I|-1=2$ nós).

Para splines cúbicos (comuns)

Sem restrições de regularidade, temos equações:$4|I|=12$

1 ( ξ 1 ≤ X < ξ 2 ) ; 1 ( ξ 1 ≤ X < ξ 2 ) X ;

$$\mathbf{1}(X < \xi_1)~~;~~\mathbf{1}(X < \xi_1)X~~;~~\mathbf{1}(X < \xi_1)X^2~~;~~\mathbf{1}(X < \xi_1)X^3~~;$$ 1 ( ξ 2 ≤ X ) ; 1 ( ξ 2 ≤ X ) X ; 1 ( ξ 2 ≤ X ) X 2 ; 1 ( ξ 2 ≤ X ) X $$\mathbf{1}(\xi_1 \leq X < \xi_2)~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^2~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^3~~;$$ $$\mathbf{1}(\xi_2 \leq X)~~;~~\mathbf{1}(\xi_2 \leq X)X~~;~~\mathbf{1}(\xi_2 \leq X)X^2~~;~~\mathbf{1}(\xi_2 \leq X)X^3.$$

Ao adicionar as restrições (splines cúbicos assume uma regularidade com r = 2 ), precisamos adicionar ( r + 1 ) × ( | I | - 1 ) = 3 × ( | I | - 1 ) = 6 restrições nas coeficientes lineares.$\mathcal{C}^r$$r=2$$(r+1)\times(|I|-1) = 3\times(|I|-1) = 6$

Terminamos com graus de liberdade.$12-6=6$

Para estrias cúbicas naturais

"Um splines cúbicos naturais adiciona restrições adicionais, a saber, que a função é linear além dos nós do limite".

$4|I|-4=12-4$$4$$2$

$$\mathbf{1}(X < \xi_1)~~;~~\mathbf{1}(X < \xi_1)X~~;~~$$ $$\mathbf{1}(\xi_1 \leq X < \xi_2)~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^2~~;~~\mathbf{1}(\xi_1 \leq X < \xi_2)X^3~~;$$ $$\mathbf{1}(\xi_2 \leq X)~~;~~\mathbf{1}(\xi_2 \leq X)X.$$

$3\times(|I|-1) = 6$

$8-6=2$