NoSuchMethodError: org.apache.spark.SparkContext.ui() Lscala/Option

Question

I Spark-Beispiele versuchte mit 1.6.0 mit Maven

<dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-core_2.11</artifactId> 
     <version>1.6.0</version> 
    </dependency> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-sql_2.11</artifactId> 
     <version>1.6.0</version> 
    </dependency> 

und hier ist der Code

JavaSparkContext jsc = new JavaSparkContext(conf); 
SparkContext sc = JavaSparkContext.toSparkContext(jsc); 
SQLContext sqlContext = new SQLContext(jsc); 

Exception im Thread "main" java.lang.NoSuchMethodError: org.apache.spark.SparkContext.ui() Lscala/Option; bei org.apache.spark.sql.SQLContext $ .createListenerAndUI (SQLContext.scala: 1369) bei org.apache.spark.sql.SQLContext. (SQLContext.scala: 77) bei org.apache.spark.sql. SQLContext. (SQLContext.scala: 79) bei KmeansPixelsJava.main (KmeansPixelsJava.java:24)

Kann mir jemand helfen, was ich vermisse?

Danke, Rishi

Answer 1

Diese Ausnahme tritt manchmal, wenn Sie Ihre Anwendung mit einer anderen Version von Funken starten. Stellen Sie sicher, dass Sie Ihren Job mit der gleichen Spark-Version wie in Ihren Maven-Abhängigkeiten übergeben. (Wäre dies ein Kommentar machen, aber ich habe nicht genug rep)

Mehr info