Zeppelin SqlContext registerTempTable Ausgabe

Question

Ich versuche, einige json Daten mit sqlContext.jsonFile in zeppelin zugreifen ...

folgenden Code ausführen ohne Fehler:

import sys.process._ 
val sqlCon = new org.apache.spark.sql.SQLContext(sc) 
val jfile = sqlCon.jsonFile(s"file:///usr/local/src/knoldus/projects/scaladay_data/scalaDays2015Amsterdam_tweets.json") 

import sqlContext.implicits._ 
jfile.registerTempTable("jTable01") 

output :

import sys.process._ sqlCon: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@7034473 jfile: org.apache.spark.sql.DataFrame = [id: struct, content: string, hashtags: array, score: struct, session: string, timestamp: bigint, tweetId: bigint, username: string] import sqlContext.implicits.

neben ich die Tabelle überprüfen Name, den ich registriert nur

sqlCon.tableNames().foreach(println)

output :

jTable01

aber wenn ich versuche folgendes zu laufen bekomme ich einen Fehler:

%sql 
select * from jTable01 

output :

no such table jTable01; line 1 pos 14

zur gleichen Zeit, als ich das Tutorial Beispiel laufen für „Bank“ es funktioniert .... der einzige Unterschied Ich konnte feststellen, dass in der Bank-Tutorial verwenden wir sc.textFile, aber in meinem Fall wollte ich sqlContext.jsonFile verwenden.

Könnten Sie mir bitte eine Anleitung geben, wie ich dieses Problem beheben kann?

Answer 1

fand die Lösung entfernt

val sqlCon = new org.apache.spark.sql.SQLContext(sc)

von meinem Code und verwendet zeppelin Standard SqlContext und es funktioniert !!!

Answer 2

In meinem Fall nichts beschlossen, bis ich entfernt

import org.apache.spark.sql.SQLContext