Spark Scala - Handhabung leerer DataFrame

Question

Ich habe eine spezifische Anforderung, bei der ich auf leeren DataFrame überprüfen muss. Wenn leer, füllen Sie einen Standardwert. Hier ist, was ich versuchte, aber nicht bekommen, was ich will.

def checkNotEmpty(df: org.apache.spark.sql.DataFrame, col: String):org.apache.spark.sql.DataFrame = 
{ 
if (!df.rdd.isEmpty()) df 
    else 
    df.na.fill(0, Seq(col)) 
} 

val age = checkNotEmpty(w_feature_md.filter("age='22'").select("age_index"),"age_index") 

Die Idee ist, das df zu bekommen, wenn es nicht leer ist. Wenn es leer ist, geben Sie einen Standardwert von NULL ein. Das scheint nicht zu funktionieren. Das Folgende ist, was ich bekomme.

scala> age.show 
+---------+ 
|age_index| 
+---------+ 
+---------+ 

Bitte helfen ..

Answer 1

def checkNotEmpty(df: org.apache.spark.sql.DataFrame, col: String):org.apache.spark.sql.DataFrame = 
    { 
    if (!df.rdd.isEmpty()) df 
     else 
     df.na.fill(0, Seq(col)) 
    } 

In Ihrer Methode:

geht die Steuerung zu if Teil, wenn die df is not empty.

Und geht zu else Teil, wenn df is empty.

df.na (org.apache.spark.sql.DataFrameNaFunctions): Funktionalität zum Arbeiten mit fehlenden Daten in DataFrames.
Da Sie verwenden, gibt es nichts zu ersetzen, daher ist das Ergebnis immer empty.

Überprüfen Sie diese ques für mehr zum Ersetzen von Nullwerten in df.