So füllen Sie Nullen in Spark mit einer "When" -Anweisung

Question

Wie kann ich Nullen einer Spalte füllen, wenn der Wert einer anderen Spalte kleiner ist als eine Zahl?

zum Beispiel

val filledage = age.na.fill(30,Array("Age")) ..... when kidscolumns>1 

etwas wie der

Dank!

Answer 1

Angenommen, Sie haben ein dataframe als

+----+-------+ 
|Age |column1| 
+----+-------+ 
|null|6  | 
|null|20  | 
|35 |10  | 
|25 |5  | 
+----+-------+ 

und Sie null Werte in Age Spalte mit 30 wenn column1 Wert kleiner als 15, dann können Sie tun

import org.apache.spark.sql.functions._ 
val comparingValue = 15 
df.withColumn("Age", when(col("column1")<comparingValue, lit(30))) 

ersetzen möchten die sollte Geben Sie

+----+-------+ 
|Age |column1| 
+----+-------+ 
|30 |6  | 
|null|20  | 
|30 |10  | 
|30 |5  | 
+----+-------+ 

Ich hoffe, die Antwort ist hilfreich