A definição splines cúbicos naturais para regressão

16

Estou aprendendo sobre splines do livro "Os elementos de mineração, inferência e previsão de dados estatísticos de aprendizagem", de Hastie et al. Eu descobri na página 145 que splines cúbicos naturais são lineares além dos nós dos limites. Existem , nos splines e o seguinte é fornecido sobre esse spline no livro.Kξ1,ξ2,...ξKinsira a descrição da imagem aqui

Pergunta 1: Como são liberados 4 graus de liberdade? Eu não entendo essa parte.

Pergunta 2 : Na definição de quando então . O que o autor está tentando fazer nesta fórmula? Como isso ajuda a garantir que os splines sejam lineares além dos nós dos limites?dk(X)k=KdK(X)=0 00 0

Durin
fonte

Respostas:

17
  1. Vamos começar considerando splines cúbicos comuns. Eles são cúbicos entre cada par de nós e cúbicos fora dos nós de fronteira. Começamos com 4df para o primeiro cúbico (à esquerda do primeiro nó de limite) e cada nó adiciona um novo parâmetro (porque a continuidade de splines e derivadas cúbicas e as segundas derivadas adicionam três restrições, deixando um parâmetro livre), perfazendo um total de parâmetros para K knots.K+4K

    Um spline cúbico natural é linear nas duas extremidades. Isto limita as peças cúbicas e quadráticas há a 0, cada reduzindo o df por 1. Isso é df 2 em cada uma das duas extremidades da curva, reduzindo para K .K+4K

    Imagine que você decide que pode gastar um número total de graus de liberdade ( , digamos) em sua estimativa de curva não paramétrica. Como a imposição de um spline natural utiliza 4 graus de liberdade a menos do que um spline cúbico comum (para o mesmo número de nós), com esses parâmetros p você pode ter mais 4 nós (e mais 4 parâmetros) para modelar a curva entre os nós de limite .pp

  2. Note-se que a definição para é para k = 1 , 2 , . . . , K - 2 (já que existem todas as funções básicas de K ). Portanto, a última função básica nessa lista, N K = d K - 2 - d K - 1 . Portanto, o k mais alto necessário para as definições de d k é para k = K - 1Nk+2k=1,2,...,K-2KNK=dK-2-dK-1kdkk=K-1. (Ou seja, não precisamos tentar descobrir o que alguns podem fazer, pois não os usamos.)dK

Glen_b -Reinstate Monica
fonte
4

Eu detalho a asserção: "Isso libera quatro graus de liberdade (duas restrições cada uma nas duas regiões de fronteira)" em um exemplo com nós ξ 1 , ξ 2 . Os intervalos relacionados são ] - , ξ 1 [ , ] ξ 1 , ξ 2 [ e ] ξ 2 , + [ (para que existam | I | = 3 intervalos e | I | - 1 = 22ξ1,ξ2]-,ξ1[]ξ1,ξ2[]ξ2,+[|Eu|=3|Eu|-1=2 nós).

Para splines cúbicos (comuns)

Sem restrições de regularidade, temos equações:4|Eu|=12

1 ( ξ 1X < ξ 2 ) ; 1 ( ξ 1X < ξ 2 ) X ; 1

1(X<ξ1)  ;  1(X<ξ1)X  ;  1(X<ξ1)X2  ;  1(X<ξ1)X3  ;
1 ( ξ 2X ) ; 1 ( ξ 2X ) X ; 1 ( ξ 2X ) X 2 ; 1 ( ξ 2X ) X 3
1(ξ1X<ξ2)  ;  1(ξ1X<ξ2)X  ;  1(ξ1X<ξ2)X2  ;  1(ξ1X<ξ2)X3  ;
1(ξ2X)  ;  1(ξ2X)X  ;  1(ξ2X)X2  ;  1(ξ2X)X3.

Ao adicionar as restrições (splines cúbicos assume uma regularidade com r = 2 ), precisamos adicionar ( r + 1 ) × ( | I | - 1 ) = 3 × ( | I | - 1 ) = 6 restrições nas coeficientes lineares.Crr=2(r+1)×(|Eu|-1)=3×(|Eu|-1)=6

Terminamos com graus de liberdade.12-6=6

Para estrias cúbicas naturais

"Um splines cúbicos naturais adiciona restrições adicionais, a saber, que a função é linear além dos nós do limite".

4|Eu|-4=12-442

1(X<ξ1)  ;  1(X<ξ1)X  ;  
1(ξ1X<ξ2)  ;  1(ξ1X<ξ2)X  ;  1(ξ1X<ξ2)X2  ;  1(ξ1X<ξ2)X3  ;
1(ξ2X)  ;  1(ξ2X)X.

3×(|Eu|-1)=6

8-6=2

ahstat
fonte