Leere Werte im Datenrahmen zählen: scala spark

Question

Angenommen, ich habe einen Datenrahmen df, der mehrere Spalten hat column1, column2 .. und ich möchte die Anzahl der leeren Werte in jeder Spalte finden. Ein Weg, um es zu tun ist, von jeder Spalte wie gehen:

df.filter($"column1" !== "").count 
df.filter($"column2" !== "").count 
       . 
       . 

Aber gibt es eine Möglichkeit, es in einer Zeile zu tun?

Answer 1

Ich würde vorschlagen, eine Art von Aggregation zu verwenden und einen neuen Datenrahmen bauen:

df.agg(
     sum(when($"column1" !== "", 1).otherwise(0)), 
     sum(when($"column2" !== "", 1).otherwise(0)) 
    ) 

EDIT: Wenn Sie eine Menge von Spalten haben, so etwas wie dies versucht:

val ncols=2 
val cols = (1 to ncols) 
    .map(i=> sum(when(col("column"+i)!=="",1).otherwise(0))) 

df.agg(cols.head,cols.tail:_*)