Na regressão spline, não é incomum que a expansão da base crie uma matriz de projeto com deficiência de classificação , mas é sabido que a penalização do procedimento de estimativa resolve o problema. Não sei como mostrar que a penalização significa que é definitivo positivo. (Eu sei que as matrizes PD são invertíveis.)
Para preparar o cenário, procuramos para f (x) dada pela expansão de base f (x_i) = \ sum_j \ alpha_j h_j (x_i ) . Coletando os vetores básicos em B , posso mostrar com bastante facilidade que essa otimização se reduz a
onde .
Aqui está o meu raciocínio até agora. Sabemos que é deficiente na classificação porque . Isso implica que também é deficiente na classificação; Também posso mostrar que pelo menos um valor próprio é 0 e que é semidefinido positivo.
Mas agora estou empacado porque não sei raciocinar sobre ou mostrar que é PD para qualquer . Eu sei que é uma matriz de Gram, mas isso só nos leva a mostrar que é PSD.
fonte
Respostas:
Mostrar que é PD equivale a mostrar que é PD. (Obrigado a Matthew Gunn por apontar isso nos comentários.)BTB+λΩ Ω
Isso ocorre porque é, no caso de , deficiente na classificação e, portanto, PSD. Isso ocorre porque a forma quadrática porque podemos reescrevê-la como porque o quadrado de qualquer número real não é negativo. Portanto, temos porque se é PD, então , a quantidade é a soma de um número não negativo e um número positivo, que deve ser positivo. Portanto, é PD, enquanto é PD.BTB p>n aTBTBa≥0∀a∈{Rn∖0} ||Ba||22≥0 aT(BTB+Ω)a=aTBTBa+aTΩa>0 Ω aTΩa>0 aTBTBa+aTΩa BTB+Ω Ω
Então, precisamos raciocinar sobre . Ele se encaixa na definição de uma matriz de Gram porque é fornecida pelo produto interno padrão nas funções (estipulado na pergunta). As funções base são linearmente independentes (porque formam uma base), portanto é PD.Ω Ω
É fácil mostrar que isso é verdade para qualquer ; todos os mesmos argumentos se aplicam porque números positivos são fechados sob multiplicação.λ>0
fonte