Ist es möglich, eine Zeile aus einer RDD zu entfernen, die eine leere Zeichenfolge in der Zeile enthält?

Question

Wie würden Sie eine Zeile aus einer scala RDD entfernen, die eine leere Zeichenfolge enthält?

Answer 1

Nehmen wir an, Sie haben eine RDD namens myRDD und sie hat einen Tupeltyp, wobei das erste Element die Zeichenkette ist (aufbauend auf Ihren Kommentaren).

Sie könnten tun:

val newRDD = myRDD.filter(x => (x._1 != null) && (x._1.length > 0)) 

Filter empfängt eine Funktion von dem Element auf boolean. Es ist generell wichtig, dass Sie vor dem Testen der Länge sicherstellen, dass es nicht null ist.