So verschachteln Sie ein verschachteltes Dataframe in Spark

Question

Ich habe eine Zeichenfolge wie folgt verschachtelt. Ich mag flache Karte sich eindeutige Zeilen in Spark-

Mein Datenrahmen hat

A,B,"x,y,z",D 

Ich mag es Ausgabe wie

A,B,x,D 
A,B,y,D 
A,B,z,D 

zu produzieren konvertieren produzieren Wie kann ich das tun.

Grundsätzlich wie kann ich flache Karte tun und gelten jede Funktion innerhalb der Datenrahmen

Dank

Answer 1

Funken 2.0+

Dataset.flatMap:

val ds = df.as[(String, String, String, String)] 
ds.flatMap { 
    case (x1, x2, x3, x4) => x3.split(",").map((x1, x2, _, x4)) 
}.toDF 

Funken 1.3+ .

Verwenden split und explodefunctions:

val df = Seq(("A", "B", "x,y,z", "D")).toDF("x1", "x2", "x3", "x4") 
df.withColumn("x3", explode(split($"x3", ","))) 

Spark-1.x

DataFrame.explode (in Spark-2.x veraltet)

df.explode($"x3")(_.getAs[String](0).split(",").map(Tuple1(_)))