Scala RDD String-Manipulation

Question

Ich habe eine RDD name berechtigt.

scala> name 
res6: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[24] at map at <console>:37 

Ich kann es inspizieren name.foreach(println)

name5000005125651330 
name5000005125651331 
name5000005125651332 
name5000005125651333 

ich mit einem neuen RDD erstellen möchte, die die name Zeichen vom Anfang jeden Datensatz entfernt und gibt die restlichen Zahlen in long Format.

Gewünschtes Ergebnis:

5000005125651330 
5000005125651331 
5000005125651332 
5000005125651333 

Ich habe versucht, die folgenden:

val name_clean = name.filter(_ != "name") 

Doch diese zurück:

name5000005125651330 
name5000005125651331 
name5000005125651332 
name5000005125651333 

Answer 1

Jeder Eintrag in der RDD eine Zeichenfolge ist. So einen Vergleich mit „name“ wird immer fehlschlagen, wie es ist „name“ + einige Ziffern.

Was Sie brauchen, ist map über die RDD iterieren und einen neuen Wert für jeden Eintrag zurückzukehren. Und dieser neue Wert sollte die Zeichenfolge, ohne die ersten 4 Zeichen und konvertiert Long.

Putting, dass alle zusammen, wir

name.map(_.drop(4).toLong) 

bekommen Wenn Sie nicht wissen, die ersten vier Zeichen wird „name“ sein, könnten Sie diese zuerst überprüfen möchten. Was Sie brauchen, hängt dann davon ab, was Sie mit Reihen tun wollen, die keinen Namen wie die ersten vier, aber so etwas wie

name.filter(_.startsWith("name")).map(_.drop(4).toLong) 

Answer 2

Verfahren stripPrefix wird einen gegebenen Präfix aus einem String entfernen (und nichts tun, wenn die Zeichenfolge nicht mit diesem Präfix startet

So erreichen Sie, was Sie brauchen von:.

val name_clean = name.map(_.stripPrefix("name").toLong)