Wie isEmpty auf Spalte Daten Spark-scala

Question

Meine Daten sieht aus wie überprüfen:

[null,223433,WrappedArray(),null,460036382,0,home,home,home] 

Wie kann ich überprüfen, ob die col3 auf Abfrage in Funken sql leer ist? Ich habe versucht zu explodieren, aber wenn ich das mache, verschwinden die leeren Array-Zeilen. Können einige mir einen Weg vorschlagen, dies zu tun?

I versucht:

val homeSet = result.withColumn("subscriptionProvider", explode($"subscriptionProvider")) 

wo subscriptionProvider(WrappedArray()) das Spaltenarray von Werten ist, aber einige Arrays leer sein kann. Ich brauche die subscriptionProvider mit NULL-Werte zu erhalten und subscriptionProvider Array "Comcast"

Answer 1

Versuchen:

import org.apache.spark.sql.functions._ 

val tmp = df.withColumn("subscriptionProvider", 
    when(size($"subscriptionProvider") !== 0, $"subscriptionProvider").otherwise(array(lit(null).cast("string")))) 

tmp.withColumn("subscriptionProvider", explode($"subscriptionProvider")) 

Answer 2

LostInOverflow Antwort ist gut für die in den Datenrahmen Haltung zu halten. Es hängt jedoch von der Größe Ihrer Listen ab, ob size effizient ist. Wenn Sie große Listen haben, dann am besten Drop-out und zurück in den Dataframe:

val dfSchema = df.schema 
val filtered = df.rdd.filter(!_.getList[String](2).isEmpty) 
sqlContext.createDataFrame(filtered, dfSchema)