Spark DataFrame und Umbenennen mehrerer Spalten (Java)

Question

Gibt es eine bessere Möglichkeit, alle oder mehrere Spalten zur gleichen Zeit einer bestimmten SparkSQL DataFrame voranzustellen oder umzubenennen als mehrere Male dataFrame.withColumnRenamed() aufrufen?

Ein Beispiel wäre, wenn ich Änderungen (mit voller Outer Join) erkennen möchte. Dann bin ich mit zwei DataFrame s mit der gleichen Struktur verlassen.

Answer 1

Ich empfehle die select() -Methode, um dies durchzuführen. Tatsächlich verwendet die columnRenamed() -Methode select() für sich. Hier ist beispielsweise, wie mehrere Spalten umbenennen:

import org.apache.spark.sql.functions._ 

val someDataframe: DataFrame = ... 

val initialColumnNames = Seq("a", "b", "c") 
val renamedColumns = initialColumnNames.map(name => col(name).as(s"renamed_$name")) 
someDataframe.select(renamedColumns : _*) 

Answer 2

ich heve habe gerade die Antwort

df1_r = df1.select(*(col(x).alias(x + '_df1') for x in df1.columns)) 

bei stackoverflow here (siehe das Ende der akzeptierte Antwort)

Answer 3

Obwohl es nicht die Antwort auf Ihre Frage direkt, aber ich aktualisiere Spaltennamen immer einzeln. Da es nur DF Metadaten aktualisiert, gibt es keinen Schaden (keine Auswirkungen auf die Leistung) auf die Aktualisierung Spaltennamen nacheinander, z.B .:

for c in DF.columns: 
    new_c = c.strip().replace(' ','_') 
    DF = DF.withColumnRenamed(c, new_c) 

Answer 4

or (a <- 0 to newsales.columns.length - 1) 
{ 
var new_c = newsales.columns(a).replace('(','_').replace(')',' ').trim 
newsales_var = newsales.withColumnRenamed(newsales.columns(a),new_c) 
}