Estou tentando executar um simples NaiveBayesClassiferusando o hadoop, obtendo este erro Exception in thread "main" java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375) at
Estou planejando usar um dos formatos de arquivo hadoop para meu projeto relacionado ao hadoop. Eu entendo parquet é eficiente para consulta baseada em colunas e avro para varredura completa ou quando precisamos de todos os dados das colunas! Antes de prosseguir e escolher um dos formatos de...
Existe alguma dependência entre Spark e Hadoop ? Se não, há algum recurso que sentirei falta ao executar o Spark sem Hadoop ?
Como posso descobrir qual versão do Hive estou usando no prompt de comando. Abaixo estão os detalhes- Estou usando o Putty para me conectar à tabela hive e acessar os registros nas tabelas. Então o que eu fiz foi - abri o Putty e digitei no nome do host - leo-ingesting.vip.name.come então...
Estou executando alguns testes nos formatos de armazenamento disponíveis com Hive e usando Parquet e ORC como opções principais. Eu incluí ORC uma vez com compressão padrão e uma vez com Snappy. Eu li muitos documentos que afirmam que o Parquet é melhor em complexidade de tempo / espaço em...
Ao instalar o hadoop na minha máquina local, recebi o seguinte erro ssh -vvv localhost OpenSSH_5.5p1, OpenSSL 1.0.0e-fips 6 Sep 2011 debug1: Reading configuration data /etc/ssh/ssh_config debug1: Applying options for * debug2: ssh_connect: needpriv 0 debug1: Connecting to localhost...
No Hadoop v1, atribuí cada slot de 7 mapeadores e redutores com tamanho de 1 GB, meus mapeadores e redutores funcionam bem. Minha máquina tem 8G de memória e 8 processadores. Agora com o YARN, ao executar o mesmo aplicativo na mesma máquina, recebo um erro de contêiner. Por padrão, tenho estas...
Como está atualmente, esta pergunta não se encaixa em nosso formato de perguntas e respostas. Esperamos que as respostas sejam apoiadas por fatos, referências ou experiência, mas esta questão provavelmente irá solicitar debate, argumentos, pesquisas ou discussão extensa. Se você...