SVD de uma matriz de dados após uma projeção ortogonal em um subespaço

Digamos que eu possa conhecer o SVD de alguma matriz : $X$

X = U S V^{T}

$X = USV^T$

Se eu tenho uma matriz ortogonal (ou seja, é quadrada e tem colunas ortonormais), o SVD de é $A$ $A$ $XA$

X A = U S W^{T}

$XA = USW^T$ onde .

W = A^{T} V

$W = A^TV$

Mas algo pode ser dito sobre o SVD do se tiver colunas ortonormais, mas não for necessariamente quadrado? Em outras palavras, se o SVD de é , as matrizes , ou ser escritas em termos do SVD de e ? $XB$ $B$ $XB$ $XB = DEF^T$ $D$ $E$ $F$ $X$ $B$

Atualização: @whuber sugere que eu possa estender para ser ortogonal adicionando colunas ortonormais até ficar quadrado. Chame esse ortogonal matriz . $B$ $B$ $\tilde B$

\tilde{B} = [B; B_{⊥}]

$\tilde B = [B; B_{\perp}]$

Eu sei que o SVD do é (veja acima). Mas agora eu estou lutando para ver se há uma maneira que eu posso escrever o SVD de em termos da SVD de . $X\tilde B$ $US(\tilde B^TV)^T$ $XB$ $X\tilde B$

pca svd matrix-decomposition mobeets
fonte

Por exemplo, não é o caso do SVD de , que é o que temos se soubermos que é quadrado. Isso ocorre porque não é uma matriz quadrada, o que teria que ser verdade no SVD. ainda tem colunas ortonormais.

X B = U S (B^{T} V)^{T}

$XB = US(B^TV)^T$

B

$B$

B^{T} V

$B^TV$

B^{T} V

$B^TV$

mobeets

B

$B$ pode ser prolongado juntando colunas ortonormais adicionais em uma matriz ortogonal (use o processo de Gram-Schmidt, por exemplo), reduzindo assim sua pergunta ao primeiro caso.

whuber

Legal, obrigado @whuber. Então diga é a versão ortogonalizados de . Saber o SVD do me diz algo sobre o SVD do ?

B^{'}

$B'$

B

$B$

X B^{'}

$XB'$

X B

$XB$

mobeets

Escreva e você verá como o relacionamento é simples e claro.

whuber

@ whuber Eu não consigo ver direito ... Aqui está o que eu tentei: Let . Então .

B^{'} = [B; B_{⊥}]

$B' = [B; B_{\perp}]$

X B^{'} = [X B; X B_{⊥}] = U S (B^{' T} V)^{T} = U S ([\begin{matrix} B^{T} \\ B_{⊥}^{T} \end{matrix}] V)^{T} = U S {[\begin{matrix} B^{T} V \\ B_{⊥}^{T} V \end{matrix}]}^{T}

$XB' = [XB; XB_{\perp}] = US(B'^TV)^T = US(\left[\begin{matrix}B^T \\ B_{\perp}^T\end{matrix}\right]V)^T = US\left[\begin{matrix}B^TV \\ B_{\perp}^TV\end{matrix}\right]^T$

mobeets

Respostas:

No SVD , onde é uma matriz , é uma matriz ortogonal . $X = USV^\prime$ $X$ $n\times p$ $V$ $p\times p$

Suponha que é uma matriz ortogonal : ou seja, . Deixei $B$ $p\times q$ $B^\prime B = 1_q$

\begin{matrix} (1) & S V^{'} B = T D W^{'} \end{matrix}

$S V^\prime B = TDW^\prime\tag{1}$

ser um SVD de . Assim, por definição, é uma matriz , é uma matriz diagonal da dimensão e é uma matriz ortogonal . $S V^\prime B$ $T$ $p\times q$ $D$ $q$ $W$ $q\times q$

Calcular

\begin{matrix} (2) & X B = (U S V^{'}) B = U (S V^{'} B) = U (T D W^{'}) = (U T) D (W^{'}) . \end{matrix}

$XB = (USV^\prime) B = U(SV^\prime B) = U(TDW^\prime) = (UT)D(W^\prime).\tag{2}$

Como , possui colunas ortonormais. Como e fazem parte de um SVD, então, por definição, é diagonal com entradas não negativas e é uma matriz ortogonal . Consequentemente, a equação fornece um SVD de . A equação mostra como este SVD está relacionado com o de e . $(UT)^\prime (UT) = T^\prime (U^\prime U) T = T^\prime T = 1_q$ $UT$ $D$ $W^\prime$ $D$ $W$ $q\times q$ $(2)$ $XB$ $(1)$ $X$ $B$

whuber
fonte

Obrigado pela resposta. Embora parece que esta é uma maneira de encontrar a SVD de via computação da SVD de , em vez de usar apenas o SVD de . Eu esperava saber se existe uma maneira de encontrar o SVD do sem precisar calcular SVDs adicionais, como é possível quando é quadrado.

X B

$XB$

S V^{'} B

$SV'B$

X

$X$

X B

$XB$

B

$B$

Mobets #

Para uma matriz com colunas ortonormais (mas não quadrado), gostaria uma forma de encontrar um SVD de em termos do SVD . $B$ $XB$ $X = USV^T$

Conforme sugerido por @whuber, um primeiro passo para encontrar o SVD do é adicionar colunas a para torná-lo quadrado (e, portanto, ortogonal). Chame essa matriz e seja o número de colunas de . Em seguida, porque é ortogonal, se é um SVD de , então é um SVD de . $XB$ $B$ $\tilde B = [B; B_{\perp}]$ $k$ $B_{\perp}$ $\tilde B$ $X = USV^T$ $X$ $X\tilde B = US(\tilde B^TV)^T$ $X \tilde B$

Como o pode ser obtido do , descartando as últimas colunas, meu problema original agora se reduz ao seguinte: Dado o SVD de uma matriz , existe uma maneira de encontrar o SVD de , onde é a matriz resultante da queda das últimas colunas de ? (Aqui eu tenho e .) $XB$ $X\tilde B$ $k$ $Y = DEF^T$ $Y' = D'E'F'^T$ $Y'$ $k$ $Y$ $Y = X\tilde B$ $Y' = XB$

Esse problema é conhecido como "downdating the SVD" e, em geral, parece haver muitas abordagens para fazer isso. Uma abordagem relevante é encontrada aqui e mais discussão aqui .

Mas, em geral, uma vez que os algoritmos para downdating a SVD parecem ser uma área de pesquisa ativa, estou concluindo que não há uma simples maneira de encontrar a SVD de dada apenas a SVD de . $XB$ $X$

mobeets
fonte

+1. Acho que você identificou o problema corretamente: não há uma maneira "simples". Acho bastante intuitivo se você considerar um exemplo simples de brinquedo: por exemplo, uma nuvem de dados 2D alongada na direção diagonal. Os dois vetores singulares originais são diagonais. A multiplicação da matriz de dados por uma matriz ortogonal quadrada simplesmente gira a nuvem inteira, para que os vetores singulares permaneçam os mesmos, até a rotação. Mas projetar a nuvem de dados para, por exemplo, a linha horizontal (subespaços 1D) mudará totalmente de forma; agora o único vetor singular é horizontal. Novos vetores singulares não têm relação com os antigos.

Ameba

Essa é uma ótima explicação intuitiva da diferença. No começo, eu achava bastante perturbador o fato de haver uma relação tão simples para matrizes ortogonais, mas não mais quando você remove apenas uma única coluna dessa matriz. Mas tudo faz sentido agora. Obrigado!

mobeets

Concordo. Quando li seu post pela primeira vez, pensei: que pergunta ingênua! :-) claramente é preciso simplesmente girar os vetores singulares (com uma matriz "estendida" para ser uma matriz de rotação, como escreveu whuber) e depois soltar alguns deles (correspondendo à parte "estendida"). Mas isso está errado.

Ameba 25/10