Wie kann man die Null- und Nan-Werte für jede Spalte in einem Pyspark-Dataframe effizient ermitteln?

Question

import numpy as np 

df = spark.createDataFrame(
    [(1, 1, None), (1, 2, float(5)), (1, 3, np.nan), (1, 4, None), (1, 5, float(10)), (1, 6, float('nan')), (1, 6, float('nan'))], 
    ('session', "timestamp1", "id2")) 

Erwartete Ausgabe

Datenrahmen mit der Zählung der nan/null für jede Spalte

Hinweis: Die vorherigen Fragen, die ich in Stack-Überlauf prüft nur für null gefunden & nicht nan. Deshalb habe ich eine neue Frage erstellt.

Ich weiß, ich kann Isnull() -Funktion in Spark verwenden, um die Anzahl der Null-Werte in der Spark-Spalte zu finden, aber wie Nan-Werte in Spark Datenrahmen zu finden?

Answer 1

können Sie Methode verwenden here gezeigt und ersetzen isNull mit isnan:

from pyspark.sql.functions import isnan, when, count, col 

df.select([count(when(isnan(c), c)).alias(c) for c in df.columns]).show() 
+-------+----------+---+ 
|session|timestamp1|id2| 
+-------+----------+---+ 
|  0|   0| 3| 
+-------+----------+---+ 

oder

df.select([count(when(isnan(c) | col(c).isNull(), c)).alias(c) for c in df.columns]).show() 
+-------+----------+---+ 
|session|timestamp1|id2| 
+-------+----------+---+ 
|  0|   0| 5| 
+-------+----------+---+ 

Answer 2

Sie können eine UDF schaffen sowohl ckeck null und NaN und gibt den boolean Wert

zu filtern

val isNaN = udf((value : Float) => { 
    if (value.equals(Float.NaN) || value == null) true else false }) 

val result = data.filter(isNaN(data("column2"))).count() 

Hoffe, das hilft!