Pelo visto, a análise de Fisher visa maximizar simultaneamente a separação entre classes, enquanto minimiza a dispersão dentro da classe. Uma medida útil do poder de discriminação de uma variável é, por conseguinte, dada pela quantidade diagonal: Bii/WiiBii/WiiB_{ii}/W_{ii}...
Eu tenho lido sobre o método Nyström para aproximação de kernel de baixo escalão. Este método é implementado no scikit-learn [1] como um método para projetar amostras de dados para uma aproximação de baixo escalão do mapeamento de recursos do kernel. Para o melhor de meu conhecimento, dado um...
Eu tenho um conjunto de dados muito grande e faltam cerca de 5% de valores aleatórios. Essas variáveis estão correlacionadas entre si. O exemplo a seguir do conjunto de dados R é apenas um exemplo de brinquedo com dados correlatos simulados. set.seed(123) # matrix of X variable xmat <-...
Tanto quanto eu sei, os autoencoders e o t-SNE são usados para redução de dimensionalidade não linear. Quais são as diferenças entre eles e por que devo usar um contra o
Estou implementando PCA, LDA e Naive Bayes, para compactação e classificação, respectivamente (implementando um LDA para compactação e classificação). Eu tenho o código escrito e tudo funciona. O que eu preciso saber, para o relatório, é qual é a definição geral de erro de reconstrução . Posso...
Quais são as maneiras de escolher qual kernel resultaria em boa separação de dados na saída final de dados pelo kernel PCA (análise de componentes principais) e quais são as maneiras de otimizar os parâmetros do kernel? Os termos de Layman, se possível, seriam muito apreciados, e links para...
Em que situações devemos usar o t-SNE (além da visualização de dados)? O T-SNE é usado para redução de dimensionalidade. A resposta a esta pergunta sugere que o t-SNE deve ser usado apenas para visualização e que não devemos usá-lo para agrupamento. Então, qual é o bom uso do...
Quero agrupar um conjunto de dados massivo para o qual tenho apenas as distâncias aos pares. Eu implementei um algoritmo k-medoids, mas está demorando muito para ser executado, então eu gostaria de começar reduzindo a dimensão do meu problema aplicando o PCA. No entanto, a única maneira que sei...
Atualmente, estou tentando entender a matemática do t-SNE . Infelizmente, ainda há uma pergunta que não consigo responder satisfatoriamente: qual é o significado real dos eixos em um gráfico t-SNE? Se eu fosse fazer uma apresentação sobre esse tópico ou incluí-lo em qualquer publicação: Como...
Suponhamos que tem uma conjunto de dados -dimensional onde os dimensões são aproximadamente ortogonal (ter correlação zero).NNNNNN Existe alguma utilidade em termos de: Visualização Representação (para eficiência do classificador) Ou outros critérios executar redução de dimensionalidade nos...
Eu sou muito novo em casamentos de palavras. Quero visualizar como os documentos estão cuidando da aprendizagem. Eu li que t-SNE é a abordagem para fazê-lo. Tenho 100 mil documentos com 250 dimensões como o tamanho da incorporação. Existem vários pacotes disponíveis também. No entanto, para t-SNE,...
Quero verificar se realmente entendi a análise fatorial (FA) [clássica, linear] , especialmente as suposições feitas antes (e possivelmente depois) da FA. Alguns dados devem ser inicialmente correlacionados e existe uma possível relação linear entre eles. Após a análise fatorial, os dados são...
Eu tenho amostras de duas classes que são vetores no espaço de alta dimensão e quero plotá-las em 2D ou 3D. Conheço as técnicas de redução de dimensionalidade, mas preciso de uma ferramenta realmente simples e fácil de usar (em matlab, python ou um .exe pré-construído). Também me pergunto se a...
Quais são as aplicações ou vantagens das técnicas de regressão de redução de dimensão (DRR) ou redução de dimensionalidade supervisionada (SDR) sobre as técnicas de regressão tradicionais (sem nenhuma redução de dimensionalidade)? Essa classe de técnicas encontra uma representação em baixa dimensão...
Executei o PCA em 17 variáveis quantitativas para obter um conjunto menor de variáveis, que são os principais componentes, para serem usadas no aprendizado de máquina supervisionado para classificar instâncias em duas classes. Após o PCA, o PC1 responde por 31% da variação nos dados, o PC2...
Estou tentando entender algumas descrições do PCA (os dois primeiros são da Wikipedia), ênfase adicionada: Os componentes principais são garantidos como independentes apenas se o conjunto de dados for normalmente distribuído em conjunto . A independência dos principais componentes é muito...
Eu sou bastante novo em Machine Learning / Modeling e gostaria de ter um histórico desse problema. Eu tenho um conjunto de dados em que o número de observações é mas o número de variáveis é . Em primeiro lugar, faz sentido considerar a construção de um modelo em um conjunto de dados como este ou...
Ensino um curso introdutório de geografia econômica. Para ajudar meus alunos a entender melhor os tipos de países encontrados na economia mundial contemporânea e apreciar as técnicas de redução de dados, quero construir uma tarefa que crie uma tipologia de diferentes tipos de países (por exemplo,...
Este é apenas um exemplo que encontrei várias vezes, portanto não tenho dados de amostra. Executando um modelo de regressão linear em R: a.lm = lm(Y ~ x1 + x2) x1é uma variável contínua. x2é categórico e possui três valores, por exemplo, "Baixo", "Médio" e "Alto". No entanto, a saída fornecida...
O método clássico de análise de componentes principais (PCA) é fazê-lo em uma matriz de dados de entrada cujas colunas têm média zero (o PCA pode "maximizar a variação"). Isso pode ser alcançado facilmente centralizando as colunas. No entanto, quando a matriz de entrada for esparsa, a matriz...