Erstellt der CREATE TABLE-Befehl in Spark eine externe Tabelle?

Question

Basierend auf dem folgenden Thread in GitHub (https://github.com/databricks/spark-csv/issues/45) Ich verstehe, dass CREATE TABLE + Optionen (wie JDBC), erstellen eine externe Hive-Tabelle ?. Diese Art von Tabellen materialisiert sich nicht selbst, und daher gehen keine Daten verloren, wenn die Tabelle aus der Datenbank von Databricks-Tabellen gelöscht oder aus der Databricks-Tabellen-UI gelöscht wird.

Answer 1

Sie können eine EXTERNAL Tabelle in Funken sehr gut erstellen, aber Sie haben HiveContext der anstelle von SqlContext kümmern:

scala> import org.apache.spark.sql.hive._ 
import org.apache.spark.sql.hive._ 

scala> val hc = new HiveContext(sc) 
hc: org.apache.spark.sql.hive.HiveContext = org.apache.spark.sql.hive.HiveContext@385ff04e 

scala> hc.sql("create external table blah (name string) location 'hdfs:///tmp/blah'") 
res0: org.apache.spark.sql.DataFrame = [result: string]