Wie können zwei Spalten in einem SparkSQL-Datenrahmen zusammengeführt werden?

Question

Ich habe einen Spark-SQL Datenrahmen, die wie folgt aussieht:

df.select("FirstName","F_Name","Dept").show() 

FirstName|F_Name|Dept 
--------------------- 
Alfred |null |c1 
null  |Jarvis|c2 
Jeeves |null |c1 

Ich möchte in der Lage sein, die Vor- und F_NAME zu verschmelzen, so dass ich einen Tisch haben kann, die wie folgt aussieht:

Name |Dept 
----------- 
Alfred|c1 
Jarvis|c2 
Jeeves|c1 

I indem versucht als solche verschmelzen aber nicht funktioniert:

df.select("coalesec(FirstName,F_Name) as Name","Dept").show() 

Entweder PySpark oder Scala Art und Weise, dies zu tun sehr helfen würde.

Vielen Dank.

Answer 1

Die coalesce Funktion ist genau das, was Sie suchen

df.select(coalesce(df.col("FirstName"),df.col("F_Name")).alias("Name"), df.col("Dept")).show()