Einfügen von Daten in eine statische Hive-Partition mit Spark SQL

Question

Ich habe Probleme herauszufinden, wie Sie Daten in eine statische Partition einer Hive-Tabelle mit Spark SQL einfügen. Ich kann Code verwenden in dynamische Partitionen zu schreiben:

df.write.partitionBy("key").insertInto("my_table") 

aber ich kann nicht herausfinden, wie die Daten in eine statische Partition einzufügen. Das heißt, ich möchte die Partition definieren, in die der gesamte DataFrame geschrieben werden soll, ohne dass die Spalte zum DataFrame hinzugefügt werden muss.

Ich sehe statische Partitionierung in der Klasse erwähnt, so denke ich, es wird unterstützt. Gibt es eine öffentliche API, um zu tun, was ich will?

Answer 1

können Sie

DataFrame tableMeta = sqlContext.sql(String.format("DESCRIBE FORMATTED %s", tableName)); 
String location = tableMeta.filter("result LIKE 'Location:%'").first().getString(0); 

verwenden und regex Ihre Tabellenpartition erhalten verwenden. Sobald Sie die Tabellenposition zu erhalten, können Sie bequem die Partitionsposition konstruieren wie

String partitionLocation = location + "/" + partitionKey 

(PartitionKey ist so etwas wie dt = 20160329/h = 21)

Dann können Sie zu diesem Pfad schreiben

df.write.parquet(partitionLocation) 

(in meinem Fall, wenn ich den Datenrahmen zu bauen, ich habe nicht die Partitions Spalten enthält. nicht sicher, ob es ein Fehler ist, wenn Partition Spalten enthalten sind)