java.io.IOException: Não foi possível localizar o executável null \ bin \ winutils.exe nos binários do Hadoop. faísca Eclipse no Windows 7

Não consigo executar um sparktrabalho simples em Scala IDE(projeto Maven Spark) instalado emWindows 7

A dependência do núcleo do Spark foi adicionada.

val conf = new SparkConf().setAppName("DemoDF").setMaster("local")
val sc = new SparkContext(conf)
val logData = sc.textFile("File.txt")
logData.count()

Erro:

16/02/26 18:29:33 INFO SparkContext: Created broadcast 0 from textFile at FrameDemo.scala:13
16/02/26 18:29:34 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
    at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:278)
    at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:300)
    at org.apache.hadoop.util.Shell.<clinit>(Shell.java:293)
    at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:76)
    at org.apache.hadoop.mapred.FileInputFormat.setInputPaths(FileInputFormat.java:362)
    at <br>org.apache.spark.SparkContext$$anonfun$hadoopFile$1$$anonfun$33.apply(SparkContext.scala:1015)
    at org.apache.spark.SparkContext$$anonfun$hadoopFile$1$$anonfun$33.apply(SparkContext.scala:1015)
    at <br>org.apache.spark.rdd.HadoopRDD$$anonfun$getJobConf$6.apply(HadoopRDD.scala:176)
    at <br>org.apache.spark.rdd.HadoopRDD$$anonfun$getJobConf$6.apply(HadoopRDD.scala:176)<br>
    at scala.Option.map(Option.scala:145)<br>
    at org.apache.spark.rdd.HadoopRDD.getJobConf(HadoopRDD.scala:176)<br>
    at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:195)<br>
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239)<br>
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237)<br>
    at scala.Option.getOrElse(Option.scala:120)<br>
    at org.apache.spark.rdd.RDD.partitions(RDD.scala:237)<br>
    at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:35)<br>
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239)<br>
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237)<br>
    at scala.Option.getOrElse(Option.scala:120)<br>
    at org.apache.spark.rdd.RDD.partitions(RDD.scala:237)<br>
    at org.apache.spark.SparkContext.runJob(SparkContext.scala:1929)<br>
    at org.apache.spark.rdd.RDD.count(RDD.scala:1143)<br>
    at com.org.SparkDF.FrameDemo$.main(FrameDemo.scala:14)<br>
    at com.org.SparkDF.FrameDemo.main(FrameDemo.scala)<br>

Aqui está uma boa explicação do seu problema com a solução.

1. Baixe winutils.exe em http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe .

2. Configure sua variável de ambiente HADOOP_HOME no nível do sistema operacional ou programaticamente:

   System.setProperty ("hadoop.home.dir", "caminho completo para a pasta com winutils");

3. Aproveitar

1. Baixe winutils.exe
2. Criar pasta, digamos C:\winutils\bin
3. Copie winutils.exedentroC:\winutils\bin
4. Definir variável de ambiente HADOOP_HOMEparaC:\winutils

Siga isso:

1. Crie uma binpasta em qualquer diretório (para ser usado na etapa 3).

2. Baixe winutils.exe e coloque-o no diretório bin.

3. Agora adicione System.setProperty("hadoop.home.dir", "PATH/TO/THE/DIR");seu código.

se vemos o problema abaixo

ERROR Shell: falha ao localizar o binário winutils no caminho binário hadoop

java.io.IOException: Não foi possível localizar o executável null \ bin \ winutils.exe nos binários do Hadoop.

então faça os seguintes passos

1. baixe winutils.exe em http://public-repo-1.hortonworks.com/hdp- win-alpha / winutils.exe.
2. e mantenha-o na pasta bin de qualquer pasta que você criou para.eg C: \ Hadoop \ bin
3. e no programa adicione a seguinte linha antes de criar SparkContext ou SparkConf System.setProperty ("hadoop.home.dir", "C: \ Hadoop");

1) Download winutils.exe from https://github.com/steveloughran/winutils 
2) Create a directory In windows "C:\winutils\bin
3) Copy the winutils.exe inside the above bib folder .
4) Set the environmental property in the code 
  System.setProperty("hadoop.home.dir", "file:///C:/winutils/");
5) Create a folder "file:///C:/temp" and give 777 permissions.
6) Add config property in spark Session ".config("spark.sql.warehouse.dir", "file:///C:/temp")"

No Windows 10 - você deve adicionar dois argumentos diferentes.

(1) Adicione a nova variável e valor como - HADOOP_HOME e caminho (ou seja, c: \ Hadoop) em Variáveis ​​do sistema.

(2) Adicione / anexe uma nova entrada à variável "Caminho" como "C: \ Hadoop \ bin".

O acima funcionou para mim.

Tive o mesmo problema ao executar testes de unidade. Eu encontrei esta solução alternativa:

A seguinte solução alternativa permite eliminar esta mensagem:

    File workaround = new File(".");
    System.getProperties().put("hadoop.home.dir", workaround.getAbsolutePath());
    new File("./bin").mkdirs();
    new File("./bin/winutils.exe").createNewFile();

de: https://issues.cloudera.org/browse/DISTRO-544

Você também pode fazer o download winutils.exeno GITHub:

https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin

substitua hadoop-2.7.1pela versão desejada e coloque o arquivo noD:\hadoop\bin

Se você não tiver direitos de acesso às configurações da variável de ambiente em sua máquina, basta adicionar a linha abaixo ao seu código:

System.setProperty("hadoop.home.dir", "D:\\hadoop");

Definir a variável de ambiente Hadoop_Home nas propriedades do sistema não funcionou para mim. Mas isso fez:

• Defina Hadoop_Home na guia de ambiente Eclipse Run Configurations.
• Siga a 'Configuração do Ambiente Windows' daqui

Além de mencionar sua variável de ambiente para HADOOP_HOMEno windows as C:\winutils, você também precisa se certificar de que é o administrador da máquina. Caso contrário, a adição de variáveis ​​de ambiente solicitará credenciais de administrador (mesmo em USERvariáveis), então essas variáveis ​​serão aplicáveis ​​assim que você iniciar seu prompt de comando como administrador.

Também enfrentei o problema semelhante com os seguintes detalhes Java 1.8.0_121, Spark spark-1.6.1-bin-hadoop2.6, Windows 10 e Eclipse Oxygen. Quando executei meu WordCount.java no Eclipse usando HADOOP_HOME como uma variável de sistema conforme mencionado no post anterior, não funcionou, o que funcionou para mim é -

System.setProperty ("hadoop.home.dir", "PATH / TO / THE / DIR");

PATH / TO / THE / DIR / bin = winutils.exe se você executar no Eclipse como um aplicativo Java ou por spark-submit do cmd usando

spark-submit --class groupid.artifactid.classname --master local [2] / caminho para o arquivo jar criado usando maven / caminho para um arquivo de teste de demonstração / caminho para o comando do diretório de saída

Exemplo: Vá para o local do depósito de Spark / home / location / bin e execute o envio do spark conforme mencionado,

D: \ BigData \ spark-2.3.0-bin-hadoop2.7 \ bin> spark-submit --class com.bigdata.abdus.sparkdemo.WordCount --master local [1] D: \ BigData \ spark-quickstart \ target \ spark-quickstart-0.0.1-SNAPSHOT.jar D: \ BigData \ spark-quickstart \ wordcount.txt

Essa é complicada ... Sua carta de armazenamento deve ser capical. Por exemplo " C : \ ..."