Entfernen Sie aufeinanderfolgende Leerzeichen in RDD-Zeilen in Spark

Question

Mein Datensatz nach vielen programmatischen Bereinigung sieht so aus (zeigt Teildatensatz hier).

ABCD  A M@L        79 
BGDA  F D@L        89 

Ich möchte diese in die für die weitere Funken folgende konvertieren Dataframe-Operationen

ABCD,A,M@L,79 
BGDA,F,D@L,89 


val reg = """/\s{2,}/""" 
val cleanedRDD2 = cleanedRDD1.filter(x=> !reg.pattern.matcher(x).matches()) 

Aber das gibt nichts zurück. Wie finde ich leere Zeichenfolgen und ersetze sie durch ein Trennzeichen? Danke! rt

Answer 1

Es scheint, dass Sie nur alle nicht-vertikalen Leerzeichen in Ihren String-Daten ersetzen möchten. Ich schlage vor, replaceAll zu verwenden (um alle Vorkommen der Texte zu ersetzen, die dem Muster entsprechen) mit [\t\p{Zs}]+ Regex.

Hier ist nur ein sample code:

val s = "ABCD  A M@L        79\nBGDA  F D@L        89" 
val reg = """[\t\p{Zs}]+""" 
val cleanedRDD2 = s.replaceAll(reg, ",") 
print(cleanedRDD2) 
// => ABCD,A,M@L,79 
//  BGDA,F,D@L,89 

Und hier ist die regex demo. Die [\t\p{Zs}]+ entspricht mindestens einem Vorkommen einer Registerkarte (\t) oder einem beliebigen Unicode-Leerzeichen aus der Space Separator category.

die regex delimiters

newRDD = yourRDD.map(elt => elt.replaceAll("""[\t\p{Zs}]+""", ","))