Estou tentando entender a relação do número de núcleos e o número de executores ao executar uma tarefa do Spark no YARN. O ambiente de teste é o seguinte: Número de nós de dados: 3 Especificação da máquina do nó de dados: CPU: Core i7-4790 (nº de núcleos: 4, nº de threads: 8) RAM: 32 GB (8 GB...
Eu tenho um aplicativo Spark em execução, onde ocupa todos os núcleos, onde meus outros aplicativos não receberão nenhum recurso. Fiz uma pesquisa rápida e as pessoas sugeriram usar YARN kill ou / bin / spark-class para matar o comando. No entanto, estou usando a versão CDH e / bin / spark-class...
No Hadoop v1, atribuí cada slot de 7 mapeadores e redutores com tamanho de 1 GB, meus mapeadores e redutores funcionam bem. Minha máquina tem 8G de memória e 8 processadores. Agora com o YARN, ao executar o mesmo aplicativo na mesma máquina, recebo um erro de contêiner. Por padrão, tenho estas...