Split 1 Spalte in 3 Spalten in Spark Scala

Question

Ich habe ein Datenframe in Spark mit Scala, die eine Spalte hat, die ich splitten muss.

scala> test.show 
+-------------+ 
|columnToSplit| 
+-------------+ 
|  a.b.c| 
|  d.e.f| 
+-------------+ 

Ich brauche diese Spalte wie folgt aussehen aufzuschlüsseln:

+--------------+ 
|col1|col2|col3| 
| a| b| c| 
| d| e| f| 
+--------------+ 

Ich bin mit Funken 2.0.0

Dank

Answer 1

Versuchen:

df.withColumn("_tmp", split($"columnToSplit", "\\.")).select(
    $"_tmp".getItem(0).as("col1"), 
    $"_tmp".getItem(1).as("col2"), 
    $"_tmp".getItem(2).as("col3") 
).drop("_tmp") 

Answer 2

Eine Lösung, die das Selen vermeidet ct Teil. Dies ist hilfreich, wenn Sie wollen einfach nur die neuen Spalten anhängen:

case class Message(others: String, text: String) 

val r1 = Message("foo1", "a.b.c") 
val r2 = Message("foo2", "d.e.f") 

val records = Seq(r1, r2) 
val df = spark.createDataFrame(records) 

df.withColumn("col1", split(col("text"), "\\.").getItem(0)) 
    .withColumn("col2", split(col("text"), "\\.").getItem(1)) 
    .withColumn("col3", split(col("text"), "\\.").getItem(2)) 
    .show(false) 

+------+-----+----+----+----+ 
|others|text |col1|col2|col3| 
+------+-----+----+----+----+ 
|foo1 |a.b.c|a |b |c | 
|foo2 |d.e.f|d |e |f | 
+------+-----+----+----+----+ 

Answer 3

dies programmatisch zu tun, können Sie eine Folge von Ausdrücken mit (0 until 3).map(i => col("temp").getItem(i).as(s"col$i")) erstellen können (vorausgesetzt, dass Sie 3 Spalten als Ergebnis müssen) und es dann gelten select mit : _* Syntax:

df.withColumn("temp", split(col("columnToSplit"), "\\.")).select(
    (0 until 3).map(i => col("temp").getItem(i).as(s"col$i")): _* 
).show 
+----+----+----+ 
|col0|col1|col2| 
+----+----+----+ 
| a| b| c| 
| d| e| f| 
+----+----+----+ 

---

Um alle Spalten zu halten:

df.withColumn("temp", split(col("columnToSplit"), "\\.")).select(
    col("*") +: (0 until 3).map(i => col("temp").getItem(i).as(s"col$i")): _* 
).show 
+-------------+---------+----+----+----+ 
|columnToSplit|  temp|col0|col1|col2| 
+-------------+---------+----+----+----+ 
|  a.b.c|[a, b, c]| a| b| c| 
|  d.e.f|[d, e, f]| d| e| f| 
+-------------+---------+----+----+----+