Fehler bei der Verwendung von SparkSession oder sqlcontext

Question

Ich bin neu zu funken. Ich versuche gerade, eine json Akte mit sparksession oder sqlcontext zu analysieren. Aber immer, wenn ich sie ausführen, erhalte ich den folgenden Fehler.

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.internal.config.package$.CATALOG_IMPLEMENTATION()Lorg/apache/spark/internal/config/ConfigEntry; at org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$sessionStateClassName(SparkSession.scala:930) at org.apache.spark.sql.SparkSession.sessionState$lzycompute(SparkSession.scala:112) at org.apache.spark.sql.SparkSession.sessionState(SparkSession.scala:110) at org.apache.spark.sql.DataFrameReader.(DataFrameReader.scala:535) at org.apache.spark.sql.SparkSession.read(SparkSession.scala:595) at org.apache.spark.sql.SQLContext.read(SQLContext.scala:504) at joinAssetsAndAd$.main(joinAssetsAndAd.scala:21) at joinAssetsAndAd.main(joinAssetsAndAd.scala)

Ab jetzt habe ich ein scala Projekt in Eclipse IDE und konfiguriert sie als Maven Projekt und hinzugefügt, um die Funken und SQL-Abhängigkeiten. Meine Abhängigkeiten

:

<dependencies> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-core_2.11</artifactId> 
     <version>2.1.0</version> 
    </dependency> 

    <dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-sql_2.11</artifactId> 
    <version>2.0.0</version> 
</dependency> 

    </dependencies> 

Könnten Sie bitte erklären, warum ich diese Störung erhalte und wie sie zu korrigieren?

Answer 1

Versuchen Sie, dieselbe Version für Spark-Core und Spark-SQL zu verwenden. Ändern Sie die Version von spark-sql in 2.1.0