spark-terasort mit funke-1.6.1-bin-hadoop1 nicht möglich

Question

Ich versuche, spark-terasort mit spark-1.6.1-bin-hadoop1 (vorgefertigte Paket für Hadoop 1.X) zu laufen.

Wenn ich versuche, Funken zu laufen:

./bin/spark-submit --class com.github.ehiggs.spark.terasort.TeraGen ~/spark-terasort/target/spark-terasort-1.0-jar-with-dependencies.jar 100G hdfs:///input_terasort 

ich den Fehler:

Exception in thread "main" java.lang.IncompatibleClassChangeError: Found class org.apache.hadoop.mapreduce.JobContext, but interface was expected

Dies kann mit unterschiedlichen Hadoop-Versionen (zwischen Funken und Funken terasort) zu tun haben. Ich habe versucht, mit pom.xml herumzuspielen (um spark-terasort zu kompilieren), aber ohne viel Erfolg.

Wie kann ich spark-terasort mit spark-1.6.1-bin-hadoop1 verwenden?

Answer 1

Die spark-terasortist alt:

<scala.binary.version>2.10</scala.binary.version> 
    <spark.version>1.2.1</spark.version> 

ich in bin auf der Suche es Patchen. Werde zurück kommen ..

Update Ich versuchte mit 1.6.0-SNAPSHOT und TeraGen hat gut funktioniert.

Input size: 1000KB 
Total number of records: 10000 
Number of output partitions: 2 
Number of records/output partition: 5000 
=========================================================================== 
=========================================================================== 
Number of records written: 10000 

Das war, als gegen lokalen Dateisystem ausgeführt wird. Ich werde real hdfs in etwa 12 Stunden ab jetzt betrachten.