Spark-RDD-Mapping Fragen

Question

Ich habe ein Textdaten wie unten

 
no1  1|3|4 
no2  4|5|6 

und ich möchte die obigen Daten, wie unter Verwendung von Funken RDD und scala Sprache zu transformieren.

 
no1  1 
no1  3 
no1  4 
no2  4 
no2  5 
no2  6 

Ich bin sehr neu in Spark und Scala. Und ich kann kein Beispiel dafür finden.

Answer 1

Ich empfehle Ihnen, die Datei als Datenrahmen zu lesen, deren API in der zukünftigen Spark-Version als RDD API mehr Gewicht haben wird. Und mit einem Datenrahmen, die Aufgabe, die Sie fragen, ist recht unkompliziert mit split und explode Funktionen:

val df = Seq(("no1", "1|3|4"), ("no2", "4|5|6")).toDF("A", "B") 
// df: org.apache.spark.sql.DataFrame = [A: string, B: string] 

df.show 
+---+-----+ 
| A| B| 
+---+-----+ 
|no1|1|3|4| 
|no2|4|5|6| 
+---+-----+ 


df.withColumn("B", explode(split($"B", "\\|"))).show 
+---+---+ 
| A| B| 
+---+---+ 
|no1| 1| 
|no1| 3| 
|no1| 4| 
|no2| 4| 
|no2| 5| 
|no2| 6| 
+---+---+