Spark createDataframe aus RDD der Objekte, Spaltenreihenfolge

Question

Ich versuche, eine RDD meiner benutzerdefinierten Objekte (eine Java-Klasse) in einen Dataframe zu konvertieren, ich habe einfach die Methode hiveContext.createDataframe die Klasse des Objekts angeben. Das Problem ist, dass der Datenrahmen mit Spalten in einer seltsamen Reihenfolge erstellt wird, und sobald ich den DF in Hive schreibe, sind die Werte in den falschen Spalten. Hier ist mein Code:

var objectRDD = tableDF.map((r: Row) => new Attuatore(r(0),r(1)...)) [.. operations with the RDD ..] val resultDF = hiveContext.createDataFrame(objectRDD, classOf[Attuatore]) resultDF.write.mode("append").saveAsTable(outputTable)

Die einzige Lösung, die ich dafür, dass die Felder in der richtigen Reihenfolge bisher gefunden ist, die RDD [Attuatore] zu einem RDD [Row] konvertieren zurück, und dann createDataFrame rufen() Spezifizierung des Schemas, aber da ich dies mit vielen Klassen tun muss, würde ich bevorzugen, dass der erste Ansatz einen viel saubereren Code hat.

Answer 1

Da die Dokumentation für HiveContext.createDataFrame sagt

Da es für die Felder in einer Java Bean, SELECT * Abfragen kehren die Spalten in einer nicht definierten Reihenfolge keine garantierte Bestellung ist.

Also, wenn Sie Felder in einer definierten Reihenfolge setzen müssen, müssen Sie es explizit tun, z.

val MY_COLUMNS = Seq("field1", "field2", ...) 
val conformedDF = resultDF.select(MY_COLUMNS.map(col(_)):_*) 
conformedDF.write...