RDD-Liste in RDD von einzelnen Element in Funken konvertieren

Question

Ich habe eine Eingabe rdd (JavaRDD<List<String>>) und ich möchte es in JavaRDD<String> als Ausgabe konvertieren.
Jedes Element der Eingabe-RDD-Liste sollte ein einzelnes Element in der Ausgabe rdd werden.

wie es in Java zu erreichen?

JavaRDD<List<String>> input; //suppose rdd length is 2 
input.saveAsTextFile(...) 

Ausgang:

[a, b]
[c, d]

, was ich will:

a
b
c
d

Answer 1

ich ein workarou tat nd unter Verwendung von Code-Schnipsel:

Concat jedes Element der Liste mit Trennzeichen '\n' dann speichern RDD mit Standard-Funke-API.

inputRdd.map(new Function<List<String>, String>() { 
      @Override 
      public String call(List<String> scores) throws Exception { 
       int size = scores.size(); 
       StringBuffer sb = new StringBuffer(); 
       for (int i=0; i <size;i++){ 
        sb.append(scores.get(i)); 
        if(i!=size-1){ 
         sb.append("\n"); 
        } 
       } 
       return sb.toString(); 
      } 
     }).saveAsTextFile("/tmp/data")); 

Answer 2

Konvertieren Sie es in einen DataFrame und verwenden Sie die Funktion "Explode UDF".

Answer 3

unten Ihr Problem

var conf = new SparkConf().setAppName("test") 
      .setMaster("local[1]") 
      .setExecutorEnv("executor-cores", "2") 
var sc = new SparkContext(conf) 
val a = sc.parallelize(Array(List("a", "b"), List("c", "d"))) 
a.flatMap(x => x).foreach(println) 

Ausgang lösen:

ein
b
c
d

Answer 4

Wenn der rdd Typ RDD[List[String]] ist, können Sie dies nur tun:

val newrdd = rdd.flatmap(line => line)

Jedes der Elemente wird eine neue Zeile in der neuen rdd sein.