Konvertieren eines Scala Iterable [Tupel] zu RDD

Question

Ich habe eine Liste von Tupel, (String, String, Int, Double), die ich in Spark RDD konvertieren möchte.

Wie kann ich eine Scala Iterable [(a1, a2, a3, ..., an)] in eine Spark RDD konvertieren?

Answer 1

Es gibt ein paar Möglichkeiten, dies zu tun, aber die Straße vorwärts Weg ist nur Spark-Kontext zu verwenden:

import org.apache.spark._ 
import org.apache.spark.rdd._ 
import org.apache.spark.SparkContext._ 

sc.parallelize(YourIterable.toList) 

Ich denke sc.Parallelize eine Konvertierung muss Liste, aber es wird Ihre Struktur erhalten , also erhalten Sie immer noch eine RDD [String, String, Int, Double]