Scala Oracle JDBC

Question

Ich bekomme einen Module not found Fehler in Scala. Ich versuche, eine jdbc Verbindung zu Oracle zu bekommen, verbinde zwei Tabellen und drucke es dann aus.

Meine scala-Datei ist

import org.apache.spark.SparkContext 
import org.apache.spark.SparkContext._ 
import org.apache.spark.SparkConf 
import org.apache.spark.sql.SQLContext 

object sparkJDBC { 
    def main(args: Array[String]): Unit = { 
    val conf = new SparkConf().setAppName("Simple  
     Application").setMaster("local[2]").set("spark.executor.memory","1g") 
    val sc = new SparkContext(conf) 
    var sqlContext = new SQLContext(sc) 
    val chrttype = sqlContext.load("jdbc", 
     Map("url" -> "jdbc:oracle:thin:gductv1/gductv1@//localhost:1521/XE", 
     "dbtable" -> "chrt_typ")) 
    val clntlvl1 = sqlContext.load("jdbc", 
     Map("url" -> "jdbc:oracle:thin:gductv1/gductv1@//localhost:1521/XE", 
     "dbtable" -> "clnt_lvl1")) 
    val join2 = 
     chrttyp.join(clntlvl1,chrttyp.col("chrt_typ_key")===clntlvl1("lvl1_key")) 
    join2.foreach(println) 
    join2.printSchema() 
    } 
} 

Meine build.sbt Datei ist

name := "sparkJDBC" 
    version := "0.1" 
    scalaVersion := "2.11.7" 

    libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.1" 
    libraryDependencies += "org.apache.tika" % "tika-core" % "1.11" 
    libraryDependencies += "org.apache.tika" % "tika-parsers" % "1.11" 
    libraryDependencies += "org.apache.hadoop" % "hadoop-client" % "2.7.1" 
    libraryDependencies += "org.apache.spark" % "spark-sql" % "1.0.0" 

Die Fehlerdatei

[warn] module not found: org.apache.spark#spark-sql;1.0.0 
[warn] ==== local: tried 
[warn] C:\Users\.ivy2\local\org.apache.spark\spark-sql\1.0.0\ivys\ivy.xml 
[warn] ==== public: tried 
[warn] https://repo1.maven.org/maven2/org/apache/spark/spark-sql/1.0.0/spark-sql-1.0.0.pom 
[info] Resolving jline#jline;2.12.1 ... 
[warn] :::::::::::::::::::::::::::::::::::::::::::::: 
[warn] ::   UNRESOLVED DEPENDENCIES   :: 
[warn] :::::::::::::::::::::::::::::::::::::::::::::: 
[warn] :: org.apache.spark#spark-sql;1.0.0: not found 
[warn] :::::::::::::::::::::::::::::::::::::::::::::: 

[error] (*:update) sbt.ResolveException: unresolved dependency: org.apache.spark#spark-sql;1.0.0: not found 

Bitte helfen Sie mir herauszufinden, ist es, was dieses verursacht.

Answer 1

spark-sql ist eine Scala-Bibliothek, wie spark-core, so dass Sie %% zwischen Gruppenname und Artefaktnamen auf die gleiche Weise benötigen. Verwenden Sie % zwischen ihnen nur für Java-Bibliotheken. Siehe http://www.scala-sbt.org/0.13/docs/Cross-Build.html aus dem Grund, den Sie brauchen %%.

Answer 2

Um sicher zu sein, um eine korrekte Abhängigkeit haben, können Sie Website wie mvnrepository verwenden können: https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.10/1.0.0

libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "1.0.0"