Die Datenquelle konnte nicht gefunden werden: com.databricks.spark.xml. Pakete finden Sie unter http://spark.apache.org/third-party-projects.html

Question

Ich lade Spark mit einem Intellij-Projekt ohne installierten Spark.

val spark = SparkSession.builder().config(sparkConf).getOrCreate() 

hinzugefügt `ve com.spark.databricks.xml durch Funken mit

sparkConf.set("spark.driver.extraClassPath", "C:/.../spark-xml_2.11-0.4.1.jar") 
sparkConf.setExecutorEnv("spark.driver.extraClassPath", "C:/.../spark-xml_2.11-0.4.1.jar") 
sparkConf.set("spark.executor.extraClassPath", "C:/.../spark-xml_2.11-0.4.1.jar") 
sparkConf.setExecutorEnv("spark.executor.extraClassPath", "C:/.../spark-xml_2.11-0.4.1.jar") 
sparkConf.setJars(Array("C:/.../spark-xml_2.11-0.4.1.jar" )) 

und mit

spark.sparkContext.addJar("C:/.../spark-xml_2.10-0.2.0.jar") 

aber bei dem Versuch, spark.read.format ("com.databricks.spark.xml") ich die Ausnahme zu verwenden, erhalten„Fehler um die Datenquelle zu finden: com.databricks.spark.xml. Pakete finden Sie unter http://spark.apache.org/third-party-projects.html ".

Wie behebe ich das? Ich weiß, dass es empfehlenswert ist, Gläser mit Spark-Shell hinzuzufügen, aber ich habe keine Funkenschale, da ich keine Funken installiert habe ...

Answer 1

Wenn Sie ein Projekt mit Maven/sbt haben, können Sie den Funken hinzufügen -xml Abhängigkeit, wie unten erwähnt:

<!-- https://mvnrepository.com/artifact/com.databricks/spark-xml --> 
<dependency> 
    <groupId>com.databricks</groupId> 
    <artifactId>spark-xml_2.11</artifactId> 
    <version>0.4.1</version> 
</dependency> 

Ref: https://mvnrepository.com/artifact/com.databricks/spark-xml_2.11/0.4.1