Aplicando regressão de crista para um sistema de equações sub-determinado?

9

Quando , o problema dos mínimos quadrados que impõe uma restrição esférica δ no valor de β pode ser escrito como min y - X p 2 2 s . t . Β 2 2ô 2 para um sistema sobredeterminado. 2 representa a norma euclidiana do vector.y=Xβ+eδβ

min yXβ22s.t.  β22δ2
2

A solução correspondente a é dada por β = ( X t X + λ I ) - 1 X T Y , que pode ser derivada a partir do método de multiplicadores de Lagrange ( λ é o multiplicador): L ( β , λ ) = Y - X β 2 2 + λ ( β 2 2 - δ 2 )β

β^=(XTX+λI)1XTy ,
λ
L(β,λ)=yXβ22+λ(β22δ2)

Entendo que existe uma propriedade que O lado direito se assemelha ao pseudo-inverso da matriz regressora X no caso sub-determinado (com o parâmetro de regularização adicionado, λ ). Isso significa que a mesma expressão pode ser usada para aproximar β

(XTX+λI)1XT=XT(XXT+λI)1 .
Xλβpara o caso subdeterminado? Existe uma derivação separada para a expressão correspondente no caso subdeterminado, pois a restrição de restrição esférica é redundante com a função objetivo (norma mínima de ):β

min. β2s.t. Xβ=y .
hatmatrix
fonte

Respostas:

12

Começando com a formulação do problema de regressão de cume como

minXβy22+λx22

você pode escrever o problema como

minAβb22

Onde

A=[XλI]

e

b=[y0].

AλI

β^=(ATA)1ATb

Xy

β^=(XTX+λI)1XTy

XX

λ>0

(XTX+λI)1XT=XT(XXT+λI)1

Assim, também temos a opção de usar

β^=XT(XXT+λI)1y

Para responder suas perguntas específicas:

  1. rank(X)XXXTXTX

  2. Não conheço nenhuma derivação da versão alternativa da fórmula que comece com algum outro problema de mínimos quadrados e use as equações normais. De qualquer forma, você pode derivá-lo de maneira direta usando um pouco de álgebra.

É possível que você esteja pensando no problema de regressão de cume na forma

minβ22

sujeito a

Xβy22ϵ.

minXβy22+λβ22

Brian Borchers
fonte
2
λXX(XTX)1XTXXT(XXT)1
Esta é uma resposta fenomenalmente abrangente e a derivação das matrizes aumentadas (mais a álgebra que eu perdi) é muito satisfatória. Eu não estava pensando no problema de regressão de cume na forma que você apresentou no final, mas é interessante ver que ele leva à mesma função objetivo. Um grande obrigado!
precisa saber é o seguinte
11
Obrigado. Vou inserir um plugue sem vergonha aqui. Você pode encontrar isso (e muito material relacionado) no livro sobre estimativa de parâmetros e problemas inversos que eu coautoriai com Rick Aster e Cliff Thurber.
Brian Borchers
11
XXTX+λI
Obrigado por suas sugestões! Agradeço a referência ao seu livro, pois tive problemas para encontrar um manual sobre este material. Nosso tamanho de dados na verdade não é muito grande (apenas podemos ter que aplicar isso muitas vezes para separar conjuntos de dados); portanto, podemos ser favoráveis ​​ao inverso direto, mas obrigado pelos ponteiros adicionais!
precisa saber é o seguinte