Fehlende HiveContext Abhängigkeit

Question

Ich versuche dies:

val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc) 

Das ist mein build.sbt Datei:

name := "SPARK-SQL" 

version := "1.0" 

scalaVersion := "2.11.8" 


libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.0-preview" 


libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.0.0-preview" 

libraryDependencies += "org.apache.spark" % "spark-hive-thriftserver_2.10" % "1.6.2" 

Der Fehler Ich erhalte:

Error:scalac: missing or invalid dependency detected while loading class file 'HiveContext.class'.

Answer 1

mit org.apache.spark.sql.hive.HiveContext umgehen Sie müssen die folgende Konfigurationskombination in Ihrer Datei build.sbt oder pom.xml haben und wegen der Kompilierung zu scala 2.10.6 wechseln atibility Ausgabe von Funken hive_2.10:

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-core_2.10</artifactId> 
    <version>2.0.0</version> 
</dependency> 

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-hive_2.10</artifactId> 
    <version>2.0.0</version> 
</dependency> 

Answer 2

Sie einfach Funken Sitzung mit hive Unterstützung bei den Funken 2.0 wie unten, so dass Sie einfach funken müssen SQL Dependency Beispiel

val spark = SparkSession 
    .builder() 
    .appName("Spark Hive Example") 
    .enableHiveSupport()