Scala Spark: So erstellen Sie eine RDD aus einer Liste von Zeichenfolge und konvertieren in Datenrahmen

Question

Ich möchte einen DataFrame aus einer Liste von Zeichenfolge erstellen, die vorhandenen Schema übereinstimmen könnte. Hier ist mein Code.

val rowValues = List("ann", "f", "90", "world", "23456") // fails 
    val rowValueTuple = ("ann", "f", "90", "world", "23456") //works 

    val newRow = sqlContext.sparkContext.parallelize(Seq(rowValueTuple)).toDF(df.columns: _*) 

    val newdf = df.unionAll(newRow).show() 

Derselbe Code schlägt fehl, wenn ich die Liste der Zeichenkette verwende. Ich sehe den Unterschied ist mit rowValueTuple ein Tuple erstellt wird. Da die Größe der rowValues Liste dynamisch ändert, kann ich Tuple* Objekt nicht manuell erstellen. Wie kann ich das tun? Was vermisse ich? Wie kann ich diese Liste reduzieren, um die Anforderung zu erfüllen?

Schätzen Sie Ihre Hilfe, bitte.

Answer 1

DataFrame hat ein Schema mit einer festen Anzahl von Spalten, daher erscheint es nicht natürlich, Zeilen pro Liste mit variabler Länge zu erstellen. Wie auch immer, Sie können Ihren DataFrame aus RDD [Row] erstellen, indem Sie das existierende Schema wie folgt verwenden:

val rdd = sqlContext.sparkContext.parallelize(Seq(rowValues)) 
val rowRdd = rdd.map(v => Row(v: _*)) 
val newRow = sqlContext.createDataFrame(rdd, df.schema)