Wie konvertiert RDD [Row] zu RDD [Zeichenfolge]

Question

ich eine Dataframe genannt Quelle haben, eine Tabelle aus mysql

val source = sqlContext.read.jdbc(jdbcUrl, "source", connectionProperties) 

ich es RDD von

val sourceRdd = source.rdd 

aber seine RDD umgewandelt haben [Row] ich brauche RDD [Zeichenfolge] Transformationen zu tun, wie

source.map(rec => (rec.split(",")(0).toInt, rec)), .subtractByKey(), etc.. 

Danke

Answer 1

Sie Row. mkString(sep: String): String Methode in einem map Aufruf wie folgt verwendet werden:

val sourceRdd = source.rdd.map(_.mkString(",")) 

Sie können den Parameter "," nach Ihren Wünschen ändern.

Ich hoffe, dies hilft Ihnen, mit freundlichen Grüßen.

Answer 2

Was ist Ihr Schema?

Wenn es nur ein String, können Sie:

import spark.implicits._ 
val sourceDS = source.as[String] 
val sourceRdd = sourceDS.rdd // will give RDD[String] 

Hinweis: Verwenden Sie SqlContext statt Funken in Funken 1.6 - Funke ist ein SparkSession, die in Spark-2.0 eine neue Klasse und ist ein neuer Eintrag zeigen Sie auf SQL-Funktionalität. Es sollte anstelle von SQLContext in Spark 2.x verwendet werden.

Sie können auch eigene Fallklassen erstellen.

Sie können auch Zeilen anzeigen - hier Quelle ist vom Typ Datenrahmen verwenden wir Teilfunktion in der Karte Funktion:

val sourceRdd = source.rdd.map { case x : Row => x(0).asInstanceOf[String] }.map(s => s.split(","))