Wie konvertiert man DataFrame zu RDD in Scala?

Question

Kann jemand bitte teilen, wie man eine dataframe zu einer RDD konvertieren kann?

Answer 1

einfach:

val rows: RDD[Row] = df.rdd 

Answer 2

Verwenden df.map(row => ...) die Datenrahmen zu einer RDD konvertieren, wenn Sie eine Zeile in eine andere RDD Element zuordnen möchten. Zum Beispiel

df.map(row => (row(1), row(2))) 

gibt Ihnen ein gekoppeltes RDD, wo die erste Spalte der df der Schlüssel ist, und die zweite Spalte des df ist der Wert.

Answer 3

Ich suchte nur nach meiner Antwort und fand diesen Beitrag.

Jean 's Antwort zu absolut korrekt, fügte hinzu, dass "df.rdd" wird eine RDD [Zeilen] zurückgeben. Ich muss split() anwenden, sobald ich RDD bekomme. Dafür brauchen wir RDD [Row} bis RDD [Zeichenfolge]

val opt=spark.sql("select tags from cvs").map(x=>x.toString()).rdd 

Answer 4

Fro mich arbeiten noch einfachere Methode zu konvertieren:

// Data frame creation from csv 
//----------------------------------------------------------------------------------------------------------------- 
val sacramentoDF = sqlContext.read 
    .format("com.databricks.spark.csv") 
    .option("header", "true") // Use first line of all files as header 
    .option("inferSchema", "true") // Automatically infer data types 
    .load("src/main/data/Sacramento.csv") 

// RDD creation from Data frame 
//----------------------------------------------------------------------------------------------------------------- 
val sacramentoRDD = sacramentoDF.rdd