Beim Versuch, einen einfachen Spark-Streaming-Kafka-Beispiel auszuführen, wird ein Fehler ausgegeben.

Question

Ich versuche, ein einfaches Beispiel für ein Kafka-Funkenstreaming auszuführen. Hier ist der Fehler, den ich bekomme.

16/10/02 20:45:43 INFO SparkEnv: Registering OutputCommitCoordinator Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$scope()Lscala/xml/TopScope$; at org.apache.spark.ui.jobs.StagePage.(StagePage.scala:44) at org.apache.spark.ui.jobs.StagesTab.(StagesTab.scala:34) at org.apache.spark.ui.SparkUI.(SparkUI.scala:62) at org.apache.spark.ui.SparkUI$.create(SparkUI.scala:215) at org.apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:157) at org.apache.spark.SparkContext.(SparkContext.scala:443) at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:836) at org.apache.spark.streaming.StreamingContext.(StreamingContext.scala:84) at org.apache.spark.streaming.api.java.JavaStreamingContext.(JavaStreamingContext.scala:138) at com.application.SparkConsumer.App.main(App.java:27)

Ich setze dieses Beispiel unter Verwendung der folgenden Pom. Ich habe versucht, diese fehlende scala.Predef-Klasse zu finden, und die fehlende Abhängigkeit für spark-streaming-kafka-0-8-assembly hinzugefügt, und ich kann die Klasse sehen, wenn ich dieses jar erkunde.

<dependency> 
    <groupId>org.apache.kafka</groupId> 
    <artifactId>kafka_2.11</artifactId> 
    <version>0.8.2.0</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.kafka</groupId> 
    <artifactId>kafka-clients</artifactId> 
    <version>0.8.2.0</version> 
</dependency> 
<dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-core_2.11</artifactId> 
     <version>2.0.0</version> 
     <scope>provided</scope> 
</dependency> 
<dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-streaming_2.11</artifactId> 
     <version>2.0.0</version> 
     <scope>provided</scope> 
</dependency> 
<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-streaming-kafka-0-8_2.11</artifactId> 
    <version>2.0.0</version> 
</dependency> 
<dependency> 
    <groupId>org.scala-lang</groupId> 
    <artifactId>scala-library</artifactId> 
    <version>2.11.0</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-streaming-kafka-0-8-assembly_2.11</artifactId> 
    <version>2.0.0</version> 
</dependency> 

Ich habe versucht, ein einfaches Beispiel für die Anzahl der Funken Wörter und es funktioniert gut. Wenn ich diesen Funken strömenden Kafka benutze, habe ich Probleme. Ich habe versucht, nach diesem Fehler zu suchen, aber kein Glück.

Hier ist das Code-Snippet.

Answer 1

Es scheint ein Problem zu geben, wenn ich 2.11 von 0.8.2.0 Kafka verwendet habe. Nach dem Wechsel zu 2.10 hat es gut funktioniert.