Com o Hadoop 2.0 e o YARN, o Hadoop não está mais vinculado apenas às soluções de redução de mapa. Com esse avanço, quais são os casos de uso do Apache Spark vs Hadoop, considerando que ambos estão no topo do HDFS? Eu li a documentação de introdução do Spark, mas estou curioso para saber se alguém...
Eu tenho uma grande matriz esparsa de usuários e itens que eles gostam (na ordem de 1 milhão de usuários e 100 mil itens, com um nível muito baixo de escassez). Estou explorando maneiras pelas quais eu poderia executar a pesquisa kNN nele. Dado o tamanho do meu conjunto de dados e alguns testes...
Qual é (são) as diferenças entre computação paralela e distribuída? Quando se trata de escalabilidade e eficiência, é muito comum ver soluções que lidam com cálculos em clusters de máquinas e, às vezes, é chamado de processamento paralelo ou processamento distribuído. De certa maneira, o cálculo...
Estou tentando entender como todos os componentes de "big data" funcionam juntos em um caso de uso do mundo real, por exemplo, hadoop, monogodb / nosql, storm, kafka, ... Eu sei que essa é uma ampla variedade de ferramentas usadas para tipos diferentes, mas gostaria de saber mais sobre a interação...
Alguém pode me informar sobre as compensações envolvidas na escolha entre o Storm e o MapReduce no Hadoop Cluster para processamento de dados? Obviamente, além do óbvio, o Hadoop (processamento via MapReduce em um Hadoop Cluster) é um sistema de processamento em lote e o Storm é um sistema de...
Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 5 anos . Parece que a maioria...
Estou verificando a documentação do XGBoost e afirmou que o XGBoost é uma biblioteca otimizada de aumento de gradiente distribuído . O que se entende por distribuído? Tenha um bom
Estou desenvolvendo um algoritmo distribuído e, para melhorar a eficiência, ele se baseia no número de discos (um por máquina) e em uma estratégia eficiente de equilíbrio de carga. Com mais discos, podemos reduzir o tempo gasto com E / S; e com uma política eficiente de equilíbrio de carga, podemos...
Como parte do projeto de análise de big data, estou trabalhando, Preciso executar o PCA em alguns dados, usando o sistema de computação em nuvem. No meu caso, estou usando o Amazon EMR para o trabalho e o Spark em particular. Deixando de lado a questão "Como executar o PCA na faísca", quero...