Hadoop-Wordcount-Beispiel in R

Question

Ich habe hadoop-3.0.0-alpha2 installiert und ich versuche, ein Mapreduce-Wordcount-Beispiel auszuführen. habe ich die mapper.R und reducer.R Skripte, aber wenn ich versuche, den Job

hadoop jar /home/rania/Downloads/hadoop-streaming-0.20.204.0.jar \ 
-file /home/rania/Downloads/mapper.R -mapper /home/rania/Downloads/mapper.R \ 
-file /home/rania/Downloads/reducer.R -reducer /home/rania/Downloads/reducer.R \ 
-input /readme -output /RCount 

ich die

2017-06-04 08:12:42,252 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
2017-06-04 08:12:43,119 INFO Configuration.deprecation: mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address 
packageJobJar: [/home/rania/Downloads/mapper.R, /home/rania/Downloads/reducer.R] [] /tmp/streamjob5589642909909116910.jar tmpDir=null 
2017-06-04 08:12:43,303 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 
2017-06-04 08:12:43,603 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 
2017-06-04 08:12:43,734 ERROR streaming.StreamJob: Error launching job , Output path already exists : Output directory hdfs://localhost:9000/RCount already exists 
Streaming Job Failed! 

Was könnte falsch sein folgende erhalten ausführen? Danke!

Answer 1

Versuchen Sie, Ihre Skripts in einem Ausgabeverzeichnis auszuführen, das noch nicht auf Ihren hdfs vorhanden ist. Ein neues Verzeichnis wird mit dem von Ihnen gewählten Namen erstellt. Wenn Sie dasselbe Verzeichnis erneut verwenden möchten, müssen Sie die darin enthaltenen Dateien löschen und entfernen, bevor Sie das Skript erneut mit demselben Ausgabeverzeichnisnamen ausführen. RCount