Pertence a um grande número de recursos ou dimensões (variáveis) para dados. (Para um grande número de pontos de dados, use a tag [dados grandes]; se o problema for um número maior de variáveis que os dados, use a tag [indeterminada].)
Li que "a distância euclidiana não é uma boa distância em grandes dimensões". Acho que essa afirmação tem algo a ver com a maldição da dimensionalidade, mas o que exatamente? Além disso, o que são 'altas dimensões'? Tenho aplicado clustering hierárquico usando distância euclidiana com 100 recursos....
Ouvi muitas vezes sobre a maldição da dimensionalidade, mas de alguma forma ainda não consigo entender a ideia, está tudo nebuloso. Alguém pode explicar isso da maneira mais intuitiva, como você explicaria a uma criança, para que eu (e os outros confusos como eu sou) entendesse isso...
Eu perguntei isso anteriormente no StackOverflow, mas parece que pode ser mais apropriado aqui, já que não obteve respostas no SO. É uma espécie de cruzamento entre estatística e programação. Preciso escrever algum código para fazer o PCA (Principal Component Analysis). Naveguei pelos algoritmos...
Quero usar a regressão Lasso ou cume para um modelo com mais de 50.000 variáveis. Quero fazê-lo usando o pacote de software em R. Como posso estimar o parâmetro de encolhimento ( )?λλ\lambda Edições: Aqui está o ponto que eu cheguei: set.seed (123) Y <- runif (1000) Xv <- sample(c(1,0),...
Eu tenho lido muito sobre o algoritmo sne para redução de dimensionalidade. Estou muito impressionado com o desempenho em conjuntos de dados "clássicos", como o MNIST, onde ele consegue uma separação clara dos dígitos ( consulte o artigo original ):ttt Também o usei para visualizar os recursos...
Estou executando um pequeno experimento com regressão LASSO em R para testar se é capaz de encontrar um par preditor perfeito. O par é definido assim: f1 + f2 = resultado O resultado aqui é um vetor predeterminado chamado 'idade'. F1 e f2 são criados pegando metade do vetor de idade e configurando...
Alguns dos recursos de meus dados têm valores grandes, enquanto outros possuem valores muito menores. É necessário centralizar os dados na escala + antes de aplicar o t-SNE para evitar desvios para valores maiores? Eu uso a implementação sklearn.manifold.TSNE do Python com a métrica de distância...
Entendo o que é "maldição da dimensionalidade", e resolvi alguns problemas de otimização dimensional e conheço o desafio das possibilidades exponenciais. No entanto, duvido que a "maldição da dimensionalidade" exista na maioria dos dados do mundo real (bem, vamos deixar imagens ou vídeos de lado...
Estou tentando ler as pesquisas na área de regressão de alta dimensão; quando ppp é maior do que nnn , isto é, p>>np>>np >> n . Parece que o termo logp/nlogp/n\log p/n aparece frequentemente em termos de taxa de convergência para estimadores de
Os lugares que eu tenho lido sobre a maldição da dimensionalidade explicam isso em conjunto com o kNN principalmente, e com os modelos lineares em geral. Eu vejo regularmente os principais executivos do Kaggle usando milhares de recursos no conjunto de dados que dificilmente tem 100 mil pontos de...
Faz sentido fazer o PCA antes de executar uma Classificação Florestal Aleatória? Estou lidando com dados de texto de alta dimensão e quero reduzir os recursos para evitar a maldição da dimensionalidade, mas as florestas aleatórias já não têm algum tipo de redução de
Eu acredito que o título desta pergunta diz tudo.
Nosso professor não está entrando na representação matemática ou geométrica da regressão linear múltipla e isso me deixa um pouco confuso. Por um lado, ainda é chamado de regressão linear múltipla, mesmo em dimensões mais altas. Por outro lado, se tivermos, por exemplo, e pudermos para e , isso...
Estou lendo o livro de Kevin Murphy: Machine Learning - uma perspectiva probabilística. No primeiro capítulo, o autor está explicando a maldição da dimensionalidade e há uma parte que eu não entendo. Como exemplo, o autor declara: Considere que as entradas são distribuídas uniformemente ao longo...
Isso é citado com muita frequência ao mencionar a maldição da dimensionalidade e vai (fórmula à direita chamada contraste relativo) limd→∞var(||Xd||kE[||Xd||k])=0,then:Dmaxkd−DminkdDminkd→0limd→∞var(||Xd||kE[||Xd||k])=0,then:Dmaxdk−DmindkDmindk→0 \lim_{d\rightarrow \infty} \text{var}...
Eu tenho (~ um milhão) vetores de recursos. Existem (~ um milhão) recursos binários, mas em cada vetor apenas (~ mil) deles seria , o restante é . Estou procurando os pares de vetores que possuem pelo menos (~ cem) recursos em comum ( em ambos). O número de tais pares é de magnitude semelhante a (~...
Configuração do problema Eu tenho pontos de dados (imagens) de alta dimensão (4096), que estou tentando visualizar em 2D. Para esse fim, estou usando t-sne de maneira semelhante ao código de exemplo a seguir de Karpathy . A documentação do scikit-learn recomenda o uso do PCA para diminuir...
Estou trabalhando em um problema de inferência de alta dimensão (em torno de 2000 parâmetros do modelo) para o qual somos capazes de executar com precisão a estimativa de MAP encontrando o máximo global do log-posterior usando uma combinação de otimização baseada em gradiente e um algoritmo...
Eu tenho um conjunto de dados com cerca de 5.000 recursos / covariáveis frequentemente correlacionados e uma resposta binária. Os dados foram dados para mim, eu não os coletei. Uso Lasso e aumento de gradiente para construir modelos. Eu uso a validação cruzada iterada e aninhada. Relato os...
Pegue 20 pontos aleatórios em um espaço de 10.000 dimensões com cada ID de coordenada de . Divida-os em 10 pares ("casais") e adicione a média de cada par ("um filho") ao conjunto de dados. Em seguida, faça o PCA nos 30 pontos resultantes e plote PC1 vs PC2.N( 0 , 1 )N(0 0,1 1)\mathcal N(0,1) Uma...