A decomposição de valor singular (SVD) de uma matriz é dada por que e são matrizes ortogonais e é uma matriz diagonal. A A A = U S V ⊤ A=USV⊤ U U V V S S
A análise de componentes principais (PCA) é geralmente explicada por meio de uma decomposição por si própria da matriz de covariância. No entanto, também pode ser realizado via decomposição de valor singular (SVD) da matriz de dados XX\mathbf X . Como funciona? Qual é a conexão entre essas duas...
A análise de componentes principais (PCA) pode ser usada para redução de dimensionalidade. Após a redução dessa dimensionalidade, como se pode reconstruir aproximadamente as variáveis / características originais de um pequeno número de componentes principais? Como alternativa, como remover ou...
Estou começando a se envolver com o uso de glmnetcom LASSO Regressão onde meu desfecho de interesse é dicotômica. Criei um pequeno quadro de dados simulado abaixo: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67,...
Eu li sobre decomposição de valor singular (SVD). Em quase todos os livros didáticos, é mencionado que ela fatoriza a matriz em três matrizes com determinada especificação. Mas qual é a intuição por trás da divisão da matriz dessa forma? O PCA e outros algoritmos para redução de dimensionalidade...
Biplot é frequentemente usado para exibir resultados da análise de componentes principais (e de técnicas relacionadas). É um gráfico de dispersão duplo ou de sobreposição que mostra as cargas dos componentes e as pontuações dos componentes simultaneamente. Fui informado por @amoeba hoje que ele deu...
Alguém pode recomendar uma boa exposição da teoria por trás da regressão de mínimos quadrados parciais (disponível on-line) para alguém que entende SVD e PCA? Procurei muitas fontes on-line e não encontrei nada que tivesse a combinação certa de rigor e acessibilidade. Analisei The Elements of...
/ editar: Acompanhamento adicional agora você pode usar o irlba :: prcomp_irlba / edit: acompanhando meu próprio post. irlbaagora possui argumentos de "centro" e "escala", que permitem usá-lo para calcular componentes principais, por exemplo: pc <- M %*% irlba(M, nv=5, nu=0,...
Estou um pouco confuso com o modo como o SVD é usado na filtragem colaborativa. Suponha que eu tenha um gráfico social e construa uma matriz de adjacência a partir das bordas e faça um SVD (vamos esquecer a regularização, as taxas de aprendizado, as otimizações de escassez etc.), como uso esse SVD...
Que diferença faz a centralização (ou remoção do significado) de seus dados para o PCA? Ouvi dizer que isso facilita a matemática ou impede que o primeiro PC seja dominado pelos meios das variáveis, mas sinto que ainda não fui capaz de entender o conceito com firmeza. Por exemplo, a principal...
Estou estudando PCA no curso Coursera de Andrew Ng e outros materiais. Na primeira tarefa do curso de PNL de Stanford, cs224n , e no vídeo da aula de Andrew Ng , eles fazem decomposição de valor singular em vez de decomposição de vetor próprio da matriz de covariância, e Ng até diz que o SVD é...
Estou apenas tentando replicar uma afirmação feita no artigo a seguir, Finding Biclusters Correlated from Gene Expression Data , que é: Proposição 4. Se . então nós temos:XEuJ= REuCTJXIJ=RICJTX_{IJ}=R_{I}C^{T}_{J} Eu. Se é um bicluster perfeito com modelo aditivo, é um bicluster perfeito com...
Eu estava usando a Análise Discriminante Linear (LDA) da scikit-learnbiblioteca de aprendizado de máquina (Python) para redução de dimensionalidade e fiquei um pouco curioso sobre os resultados. Gostaria de saber agora o que o LDA scikit-learnestá fazendo para que os resultados pareçam diferentes,...
Dado um PCA (ou SVD) aproximação de matriz XXX com uma matriz X , sabemos que X é o melhor baixo-rank aproximação das X .X^X^\hat XX^X^\hat XXXX Isso está de acordo com a norma induzida ∥⋅∥2∥⋅∥2\parallel \cdot \parallel_2 (ou seja, a maior norma de autovalor) ou de acordo com a norma Frobenius...
Eu tenho uma matriz de correlação de retornos de segurança cujo determinante é zero. (Isso é um pouco surpreendente, pois a matriz de correlação da amostra e a matriz de covariância correspondente devem teoricamente ser definidas positivamente.) Minha hipótese é que pelo menos um título seja...
Qual é a melhor maneira de calcular a decomposição de valor singular (SVD) de uma matriz positiva muito grande (65M x 3,4M) em que os dados são extremamente escassos? Menos de 0,1% da matriz é diferente de zero. Eu preciso de uma maneira que: caberá na memória (eu sei que existem métodos...
Estou investigando várias técnicas usadas no agrupamento de documentos e gostaria de esclarecer algumas dúvidas sobre o PCA (análise de componentes principais) e LSA (análise semântica latente). Primeira coisa - quais são as diferenças entre eles? Eu sei que no PCA, a decomposição de SVD é...
Esta pergunta é sobre uma maneira eficiente de calcular os componentes principais. Muitos textos sobre PCA linear advogam o uso da decomposição de valor singular dos dados casewise . Ou seja, se temos dados XX\bf X e queremos substituir as variáveis (suas colunas ) por componentes principais,...
Eu me deparei com um cenário em que tenho 10 sinais / pessoa para 10 pessoas (então 100 amostras) contendo 14000 pontos de dados (dimensões) que preciso passar para um classificador. Gostaria de reduzir a dimensionalidade desses dados e o PCA parece ser o caminho para fazê-lo. No entanto, só...
Na filtragem colaborativa, temos valores que não são preenchidos. Suponha que um usuário não assistiu a um filme, então precisamos colocar um 'na' nele. Se eu for usar um SVD dessa matriz, preciso inserir um número - digamos 0. Agora, se eu fatorar a matriz, tenho um método para encontrar usuários...
Observo um comportamento muito estranho no resultado SVD de dados aleatórios, que posso reproduzir tanto no Matlab quanto no R. Parece um problema numérico na biblioteca LAPACK; é isso? Eu desenho n=1000n=1000n=1000 amostras do Gaussiano k=2k=2k=2 dimensional com média zero e covariância de...