Eu sei como "transformar" um Java simples Listde Y-> Z, ou seja: List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList()); Agora eu gostaria de fazer basicamente o mesmo com um mapa, ou seja: INPUT: { "key1" -> "41", //...
Atualmente, essa questão não se encaixa no nosso formato de perguntas e respostas. Esperamos que as respostas sejam apoiadas por fatos, referências ou conhecimentos, mas essa pergunta provavelmente solicitará debate, argumentos, pesquisas ou discussão prolongada. Se você acha que...
Relacionado à minha pergunta do CouchDB . Alguém pode explicar o MapReduce em termos que um numbnuts possa
Quais cenários justificariam o uso do algoritmo " Mapear e Reduzir "? Existe uma implementação .NET desse algoritmo?
Em muitas situações da vida real em que você aplica o MapReduce, os algoritmos finais acabam sendo várias etapas do MapReduce. ou seja, Mapa1, Reduzir1, Mapa2, Reduzir2 e assim por diante. Portanto, você tem a saída da última redução necessária como entrada para o próximo mapa. Os dados...
De acordo com Hadoop - The Definitive Guide Os registros lógicos que FileInputFormats definem geralmente não se encaixam perfeitamente em blocos HDFS. Por exemplo, os registros lógicos de um TextInputFormat são linhas, que cruzarão os limites do HDFS com mais freqüência. Isso não tem relação com...
Na programação do Map Reduce, a fase de redução tem embaralhamento, classificação e redução como suas sub-partes. A classificação é um assunto caro. Qual é a finalidade da fase de embaralhamento e classificação no redutor na Programação Map
Um dos principais exemplos usados para demonstrar o poder do MapReduce é o benchmark Terasort . Estou tendo problemas para entender os fundamentos do algoritmo de classificação usado no ambiente MapReduce. Para mim, a classificação envolve simplesmente determinar a posição relativa de um...
Fechadas. Esta pergunta não atende às diretrizes do Stack Overflow . Atualmente não está aceitando respostas. Quer melhorar esta questão? Atualize a pergunta para que esteja no tópico do Stack Overflow. Fechado há 4 anos . Melhore esta questão...
Existe alguma dependência entre Spark e Hadoop ? Se não, há algum recurso que sentirei falta ao executar o Spark sem Hadoop ?
Ao usar a $incláusula do MongoDB , a ordem dos documentos retornados sempre corresponde à ordem do argumento da matriz?
No Hadoop v1, atribuí cada slot de 7 mapeadores e redutores com tamanho de 1 GB, meus mapeadores e redutores funcionam bem. Minha máquina tem 8G de memória e 8 processadores. Agora com o YARN, ao executar o mesmo aplicativo na mesma máquina, recebo um erro de contêiner. Por padrão, tenho estas...