Por que definitivo?

7

Na regressão spline, não é incomum que a expansão da base crie uma matriz de projeto com deficiência de classificação , mas é sabido que a penalização do procedimento de estimativa resolve o problema. Não sei como mostrar que a penalização significa que é definitivo positivo. (Eu sei que as matrizes PD são invertíveis.)Bn×pBTB+λΩ

Para preparar o cenário, procuramos para f (x) dada pela expansão de base f (x_i) = \ sum_j \ alpha_j h_j (x_i ) . Coletando os vetores básicos em B , posso mostrar com bastante facilidade que essa otimização se reduz aminαRpi||yif(xi)||2+λab[f(t)]2dtf(x)f(xi)=jαjhj(xi)B

α^=(BTB+λΩ)1BTy.

onde Ωij=abhj(t)hi(t)dt .

Aqui está o meu raciocínio até agora. Sabemos que B é deficiente na classificação porque p>n . Isso implica que BTB também é deficiente na classificação; Também posso mostrar que pelo menos um valor próprio é 0 e que é semidefinido positivo.

Mas agora estou empacado porque não sei raciocinar sobre Ω ou mostrar que BTB+λΩ é PD para qualquer λ>0 . Eu sei que Ω é uma matriz de Gram, mas isso só nos leva a mostrar que Ω é PSD.

Sycorax diz restabelecer Monica
fonte
2
Você precisaria mostrar é positivo definitivo. Onde é que vem exatamente? Como é definido? Ωh
Matthew Gunn
Fiquei curioso se é sempre PD? E se eu colocar nós em todos os valores x distintos? Ω
vtshen
@ vtshen Minha resposta mostra que é PD de duas maneiras. Se você tiver mais perguntas, clique em Fazer pergunta na parte superior da página para fazer uma nova pergunta. Ω
Sycorax diz Reinstate Monica
@ Sycorax obrigado pela resposta. Eu fiz outra pergunta, mas foi sinalizado como duplicado
vtshen 17/07/19

Respostas:

6

Mostrar que é PD equivale a mostrar que é PD. (Obrigado a Matthew Gunn por apontar isso nos comentários.)BTB+λΩΩ

Isso ocorre porque é, no caso de , deficiente na classificação e, portanto, PSD. Isso ocorre porque a forma quadrática porque podemos reescrevê-la como porque o quadrado de qualquer número real não é negativo. Portanto, temos porque se é PD, então , a quantidade é a soma de um número não negativo e um número positivo, que deve ser positivo. Portanto, é PD, enquanto é PD.BTBp>naTBTBa0a{Rn0}||Ba||220aT(BTB+Ω)a=aTBTBa+aTΩa>0ΩaTΩa>0aTBTBa+aTΩaBTB+ΩΩ

Então, precisamos raciocinar sobre . Ele se encaixa na definição de uma matriz de Gram porque é fornecida pelo produto interno padrão nas funções (estipulado na pergunta). As funções base são linearmente independentes (porque formam uma base), portanto é PD.ΩΩ

Ω é PD se suas colunas forem independentes. Podemos escreverSe os vetores de são linearmente dependentes , temos para alguns porque por definição de dependência linear e pelas propriedades do determinante.Ω=ATA.AΩa=ATAa=AT0=0a0Aa=0|Ω|=|ATA|=|A|2=0

É fácil mostrar que isso é verdade para qualquer ; todos os mesmos argumentos se aplicam porque números positivos são fechados sob multiplicação.λ>0

Sycorax diz restabelecer Monica
fonte
+1. Eu acho que você pode aceitar a sua própria resposta ... Como você disse, como é uma matriz de Gram, afinal, para que isso aconteça, não consigo ver outro aspecto chegando! Ω
usεr11852