Certa vez, ouvi dizer que filtrar spam usando listas negras não é uma boa abordagem, pois algum usuário que está procurando entradas no seu conjunto de dados pode estar procurando informações específicas das fontes bloqueadas. Também seria um fardo validar continuamente o estado atual de cada...
Estou desenvolvendo um algoritmo distribuído e, para melhorar a eficiência, ele se baseia no número de discos (um por máquina) e em uma estratégia eficiente de equilíbrio de carga. Com mais discos, podemos reduzir o tempo gasto com E / S; e com uma política eficiente de equilíbrio de carga, podemos...
Estou lendo sobre a arquitetura lambda. Faz sentido. temos ingestão de dados baseada em fila. temos um armazenamento na memória para dados que é muito novo e temos HDFS para dados antigos. Portanto, temos todo o nosso conjunto de dados. no nosso sistema. muito bom. mas o diagrama da arquitetura...
Como parte do projeto de análise de big data, estou trabalhando, Preciso executar o PCA em alguns dados, usando o sistema de computação em nuvem. No meu caso, estou usando o Amazon EMR para o trabalho e o Spark em particular. Deixando de lado a questão "Como executar o PCA na faísca", quero...
Pode-se construir modelos lineares em "blocos" do conjunto de dados, se não for possível construí-los em todo o conjunto de dados? Particularmente, ainda tenho mais de 88 mil variáveis (recursos) restantes e não se pode fazer muito com elas sem grandes quantidades de memória. Mas fazer modelos...