Estou tentando entender o ZooKeeper, como ele funciona e o que faz. Existe algum aplicativo comparável ao ZooKeeper? Se você souber, como descreveria o ZooKeeper a um leigo? Eu tentei o apache wiki, zookeeper sourceforge ... mas ainda não consigo me relacionar com ele. Acabei de ler...
De acordo com o Learning Spark Lembre-se de que o reparticionamento dos dados é uma operação bastante cara. O Spark também possui uma versão otimizada do repartition()chamado coalesce()que permite evitar a movimentação de dados, mas apenas se você estiver diminuindo o número de partições...
Li a Visão geral do modo de cluster e ainda não consigo entender os diferentes processos no cluster do Spark Standalone e o paralelismo. O trabalhador é um processo da JVM ou não? Eu executei o bin\start-slave.she descobri que ele gerou o trabalhador, que na verdade é uma JVM. Conforme o link...
Em termos de RDDpersistência, quais são as diferenças entre cache()e persist()na
Eu sou relativamente novo em Kafka. Eu experimentei um pouco, mas algumas coisas não estão claras para mim em relação à compensação do consumidor. Pelo que entendi até agora, quando um consumidor inicia, o deslocamento do qual ele começará a ler é determinado pela configuração...
Se você possui um bilhão de números e cem computadores, qual é a melhor maneira de localizar a mediana desses números? Uma solução que tenho é: Divida o conjunto igualmente entre os computadores. Classifique-os. Encontre as medianas para cada conjunto. Classifique os conjuntos em...