Perguntas com a marcação «hadoop»

Atualmente, estou configurando o hadoop em um servidor executando o CentOs . Quando executo start-dfs.shou stop-dfs.sh, recebo o seguinte erro: WARN util.NativeCodeLoader: Não foi possível carregar a biblioteca nativo-hadoop para sua plataforma ... usando classes builtin-java onde...

Fechado . Esta questão é baseada em opiniões . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela possa ser respondida com fatos e citações editando esta postagem . Fechado há 4 anos . Melhore...

Estou tentando entender a relação do número de núcleos e o número de executores ao executar uma tarefa do Spark no YARN. O ambiente de teste é o seguinte: Número de nós de dados: 3 Especificação da máquina do nó de dados: CPU: Core i7-4790 (nº de núcleos: 4, nº de threads: 8) RAM: 32 GB (8 GB...

Quais são os benefícios de usar um ou outro Hadoop ou HBase ou Hive ? Pelo que entendi, o HBase evita o uso de redução de mapa e possui um armazenamento orientado a colunas sobre o HDFS. O Hive é uma interface do tipo sql para o Hadoop e o HBase . Também gostaria de saber como o Hive se compara...

Instalei o Spark usando o guia da AWS EC2 e posso iniciar o programa com bin/pysparkprecisão usando o script para acessar o prompt do spark e também posso executar o Quick Start com êxito. No entanto, durante toda a minha vida, não consigo descobrir como interromper todo o INFOlog detalhado após...

Gostaria de ler um CSV no spark e convertê-lo como DataFrame e armazená-lo no HDFS com df.registerTempTable("table_name") Eu tentei: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Erro que recebi: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet...

As características do Apache Parquet são: Auto-descrição Formato colunar Independente do idioma Em comparação com o Avro, Sequence Files, RC File etc. Quero uma visão geral dos formatos. Eu já li: Como o Impala funciona com os formatos de arquivo Hadoop , ele fornece algumas informações sobre...

Como copiar arquivos do HDFS para o sistema de arquivos local. Não há localização física de um arquivo no arquivo, nem mesmo o diretório. Como posso movê-los para o meu local para mais validações. Sou experimentado através do

Essa é uma pergunta ingênua, mas eu sou novo no paradigma NoSQL e não sei muito sobre isso. Portanto, se alguém puder me ajudar a entender claramente a diferença entre o HBase e o Hadoop ou se fornecer alguns indicadores que possam me ajudar a entender a diferença. Até agora, eu fiz algumas...

Eu sei que ambos são realizados em uma coluna na tabela, mas como cada operação é

Em muitas situações da vida real em que você aplica o MapReduce, os algoritmos finais acabam sendo várias etapas do MapReduce. ou seja, Mapa1, Reduzir1, Mapa2, Reduzir2 e assim por diante. Portanto, você tem a saída da última redução necessária como entrada para o próximo mapa. Os dados...

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. não é capaz de criar nada em hdfs eu fiz root# bin/hadoop fs -safemode leave Mas mostrando safemode: Unknown command qual é o...

De acordo com Hadoop - The Definitive Guide Os registros lógicos que FileInputFormats definem geralmente não se encaixam perfeitamente em blocos HDFS. Por exemplo, os registros lógicos de um TextInputFormat são linhas, que cruzarão os limites do HDFS com mais freqüência. Isso não tem relação com...

Na programação do Map Reduce, a fase de redução tem embaralhamento, classificação e redução como suas sub-partes. A classificação é um assunto caro. Qual é a finalidade da fase de embaralhamento e classificação no redutor na Programação Map

Alguém pode me dizer a diferença entre a tabela externa do Hive e as tabelas internas. Eu sei que a diferença vem ao largar a mesa. Não entendo o que você quer dizer com os dados e os metadados são excluídos nas tabelas internas e apenas os metadados são excluídos nas tabelas externas. Alguém pode...

Um dos principais exemplos usados ​​para demonstrar o poder do MapReduce é o benchmark Terasort . Estou tendo problemas para entender os fundamentos do algoritmo de classificação usado no ambiente MapReduce. Para mim, a classificação envolve simplesmente determinar a posição relativa de um...

Eles deveriam ser iguais? mas, porque os hadoop fscomandos " " mostram o hdfs filesenquanto os hdfs dfscomandos " " mostram os arquivos locais? aqui estão as informações da versão do hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git:

Estou recebendo o seguinte erro ao iniciar o namenode para a versão mais recente do hadoop-2.2. Não encontrei o arquivo exe winutils na pasta hadoop bin. Eu tentei os comandos abaixo $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main] util.Shell...

Fechadas. Esta pergunta não atende às diretrizes do Stack Overflow . Atualmente não está aceitando respostas. Quer melhorar esta questão? Atualize a pergunta para que esteja no tópico do Stack Overflow. Fechado há 4 anos . Melhore esta questão...

Estou tentando executar um simples NaiveBayesClassiferusando o hadoop, obtendo este erro Exception in thread "main" java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375) at