Muitas pessoas usam o termo big data de maneira bastante comercial , como um meio de indicar que grandes conjuntos de dados estão envolvidos na computação e, portanto, as soluções em potencial devem ter um bom desempenho. Obviamente, o big data sempre carrega termos associados, como escalabilidade...
Eu sei que o Spark está totalmente integrado ao Scala. Seu caso de uso é especificamente para grandes conjuntos de dados. Quais outras ferramentas têm bom suporte ao Scala? O Scala é mais adequado para conjuntos de dados maiores? Ou também é adequado para conjuntos de dados
Estou tentando entender como todos os componentes de "big data" funcionam juntos em um caso de uso do mundo real, por exemplo, hadoop, monogodb / nosql, storm, kafka, ... Eu sei que essa é uma ampla variedade de ferramentas usadas para tipos diferentes, mas gostaria de saber mais sobre a interação...
Em nossa empresa, temos um banco de dados MongoDB contendo muitos dados não estruturados, nos quais precisamos executar algoritmos de redução de mapa para gerar relatórios e outras análises. Temos duas abordagens para selecionar para implementar as análises necessárias: Uma abordagem é extrair os...
Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 5 anos . Parece que a maioria...
Existe uma tabela geral conhecida de técnicas estatísticas que explique como elas são dimensionadas com tamanho e dimensão da amostra? Por exemplo, um amigo meu me disse outro dia que o tempo de computação da simples classificação rápida de dados unidimensionais do tamanho n é n * log (n). Então,...
Eu tenho um grande número de amostras que representam fluxos de bits codificados em Manchester como sinais de áudio. A frequência na qual eles são codificados é o componente de frequência principal quando está alto, e há uma quantidade consistente de ruído branco no fundo. Decodifiquei manualmente...
Estou desenvolvendo um algoritmo distribuído e, para melhorar a eficiência, ele se baseia no número de discos (um por máquina) e em uma estratégia eficiente de equilíbrio de carga. Com mais discos, podemos reduzir o tempo gasto com E / S; e com uma política eficiente de equilíbrio de carga, podemos...