Eu tenho um conjunto de dados que consiste em 15 mil amostras marcadas (de 10 grupos). Quero aplicar a redução de dimensionalidade em duas dimensões, que levariam em consideração o conhecimento dos rótulos. Quando uso técnicas de redução de dimensionalidade não supervisionadas "padrão", como o...
Eu costumava diagnosticar meus dados multivariados usando o PCA (dados omicos com centenas de milhares de variáveis e dezenas ou centenas de amostras). Os dados geralmente vêm de experimentos com várias variáveis independentes categóricas que definem alguns grupos, e muitas vezes tenho que...
Estou trabalhando no R através de um excelente tutorial de PCA de Lindsay I Smith e estou ficando paralisado na última etapa. O script R abaixo nos leva ao estágio (na p.19) em que os dados originais estão sendo reconstruídos a partir do (principal neste caso) Componente Principal, que deve gerar...
Ao ler sobre o PCA, deparei-me com a seguinte explicação: Suponha que tenhamos um conjunto de dados em que cada ponto de dados represente as pontuações de um único aluno em um teste de matemática, um teste de física, um teste de compreensão de leitura e um teste de vocabulário. Encontramos...
Estou tentando escrever minha própria função para análise de componentes principais, o PCA (é claro que já há muito escrito, mas estou interessado apenas em implementar coisas sozinho). O principal problema que encontrei é a etapa de validação cruzada e o cálculo da soma prevista dos quadrados...
Em Métodos Estatísticos nas Ciências Atmosféricas , Daniel Wilks observa que a regressão linear múltipla pode levar a problemas se houver intercorrelações muito fortes entre os preditores (3ª edição, página 559-560): Uma patologia que pode ocorrer na regressão linear múltipla é que um conjunto...
Para executar a análise de componentes principais (PCA), é necessário subtrair os dados de cada coluna, calcular a matriz do coeficiente de correlação e, em seguida, localizar os vetores próprios e os valores próprios. Bem, pelo contrário, foi o que fiz para implementá-lo no Python, exceto que...
Quais são as maneiras de escolher qual kernel resultaria em boa separação de dados na saída final de dados pelo kernel PCA (análise de componentes principais) e quais são as maneiras de otimizar os parâmetros do kernel? Os termos de Layman, se possível, seriam muito apreciados, e links para...
Atualmente, estou usando a análise de componentes principais para selecionar variáveis a serem usadas na modelagem. No momento, faço as medições A, B e C em meus experimentos - O que realmente quero saber é: Posso fazer menos medições e parar de gravar C e ou B para economizar tempo e esforço?...
Na análise de componentes principais, os primeiros componentes principais são as direções ortogonais k com a variação máxima. Em outras palavras, o primeiro componente principal é escolhido para ser a direção da variação máxima, o segundo componente principal é escolhido para ser a direção...
Eu tenho que reduzir o número de variáveis para realizar uma análise de cluster. Minhas variáveis estão fortemente correlacionadas, então pensei em fazer uma Análise Fatorial PCA (análise de componentes principais). No entanto, se eu usar as pontuações resultantes, meus clusters não estão muito...
Estive usando o ajuste de modelo caret, mas depois executei novamente o modelo usando o gbmpacote. Entendo que o caretpacote usa gbme a saída deve ser a mesma. No entanto, apenas um teste rápido usando data(iris)mostra uma discrepância no modelo de cerca de 5% usando RMSE e R ^ 2 como métrica de...
Para uma competição recente do Kaggle, eu (manualmente) defini 10 recursos adicionais para o meu conjunto de treinamento, que seriam usados para treinar um classificador de florestas aleatórias. Decidi executar o PCA no conjunto de dados com os novos recursos, para ver como eles se comparavam. Eu...
Desejo usar o Critério de informações de Akaike (AIC) para escolher o número apropriado de fatores a serem extraídos em um PCA. O único problema é que não tenho certeza de como determinar o número de parâmetros. Considere uma matriz , em que representa o número de variáveis e o número de...
Em um curso de aprendizado de máquina, aprendi que um uso comum do PCA ( Análise de Componentes Principais ) é acelerar outros algoritmos de aprendizado de máquina. Por exemplo, imagine que você está treinando um modelo de regressão logística. Se você tiver um conjunto de treinamento para i de 1 a...
Quando executo o PCA em um determinado conjunto de dados, a solução fornecida é única? Ou seja, obtenho um conjunto de coordenadas 2D, com base nas distâncias entre pontos. É possível encontrar pelo menos mais um arranjo dos pontos que atenderiam a essas restrições? Se a resposta for sim, como...
A função objetivo da Análise de Componentes Principais (PCA) é minimizar o erro de reconstrução na norma L2 (consulte a seção 2.12 aqui . Outra visão é tentar maximizar a variação na projeção. Também temos um excelente post aqui: Qual é a função objetivo do PCA ? ). Minha pergunta é que a...
Quero agrupar um conjunto de dados massivo para o qual tenho apenas as distâncias aos pares. Eu implementei um algoritmo k-medoids, mas está demorando muito para ser executado, então eu gostaria de começar reduzindo a dimensão do meu problema aplicando o PCA. No entanto, a única maneira que sei...
Sei como executar o PCA (análise de componentes principais), mas gostaria de saber as etapas que devem ser usadas para a análise fatorial. Para executar o PCA, vamos considerar uma matriz , por exemplo:UMAUMAA 3 1 -1 2 4 0 4 -2 -5 11 22 20 Eu calculei sua matriz de correlação B = corr(A):...
Estou implementando PCA, LDA e Naive Bayes, para compactação e classificação, respectivamente (implementando um LDA para compactação e classificação). Eu tenho o código escrito e tudo funciona. O que eu preciso saber, para o relatório, é qual é a definição geral de erro de reconstrução . Posso...