Wie stelle ich eine Verbindung zu Hive her, indem ich Scala auf IntelliJ benutze?

Question

Ich bin neu in Hive und Funke und versuche herauszufinden, wie man auf Tabellen im Bienenstock zugreifen kann, um die Daten zu manipulieren und auf sie zuzugreifen. Wie kann es gemacht werden?

Answer 1

in Funken < 2,0

val sc = new SparkContext(conf) 

val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) 
val myDataFrame = sqlContext.sql("select * from mydb.mytable") 

in späteren Versionen von Funken, Verwendung SparkSession:

SparkSession ist nun der neue Einstiegspunkt des Funken, der den alten SqlContext und HiveContext ersetzt. Beachten Sie, dass der alte SQLContext und HiveContext aus Gründen der Abwärtskompatibilität beibehalten werden. Ein neuer Katalog Schnittstelle ist von SparkSession zugänglich - vorhandene API auf Datenbanken und Tabellenzugriffe wie listTables, createExternalTable, dropTempView, cacheTable werden hier verschoben. - von der Dokumentation

val spark = SparkSession 
    .builder() 
    .appName("Spark Hive Example") 
    .config("spark.sql.warehouse.dir", warehouseLocation) 
    .enableHiveSupport() 
    .getOrCreate() 
val myDataFrame = spark.sql("select * from mydb.mytable") 

Answer 2

Wenn Ihr hive-Server auf dem Remote-Cluster befindet verweisen Sie können Daten über JDBC-Verbindung wie das Ziehen:

import scala.collection.mutable.MutableList 

case class TempTable (
    column1: String, 
    column2: String 
) 

val conn: Connection = DriverManager.getConnection(url, user, password) 
val res: ResultSet = conn.createStatement 
        .executeQuery("SELECT * FROM table_name") 
val fetchedRes = MutableList[TempTable]() 
while(res.next()) { 
    var rec = TempTable(res.getString("column1"), 
    res.getString("column2")) 
    fetchedRes += rec 
} 
conn.close() 
val resultRDD = sc.parallelize(fetchedRes) 
resultRDD.cache()