Funken: Explodieren eines Datenrahmens Array von Strukturen und hängen ID

Question

I haben derzeit ein Datenrahmen mit einer ID und einer Säule, die ein Array von Strukturen ist:

root 
|-- id: integer (nullable = true) 
|-- lists: array (nullable = true) 
| |-- element: struct (containsNull = true) 
| | |-- text: string (nullable = true) 
| | |-- amount: double (nullable = true) 

Hier ist ein Beispiel-Tabelle mit Daten:

id | lists 
----------- 
1 | [[a, 1.0], [b, 2.0]] 
2 | [[c, 3.0]] 

Wie transformiere ich den obigen Datenrahmen in den unteren? Ich muss das Array "explodieren" und gleichzeitig die ID anhängen.

id | col1 | col2 
----------------- 
1 | a  | 1.0 
1 | b  | 2.0 
2 | c  | 3.0 

---

Herausgegeben Hinweis:

Hinweis es einen Unterschied unten zwischen den beiden Beispielen ist. Die erste enthält "eine Anordnung von Strukturen von Elementen". Während die später enthält nur "eine Reihe von Elementen".

root 
|-- id: integer (nullable = true) 
|-- lists: array (nullable = true) 
| |-- element: struct (containsNull = true) 
| | |-- text: string (nullable = true) 
| | |-- amount: double (nullable = true) 


root 
|-- a: long (nullable = true) 
|-- b: array (nullable = true) 
| |-- element: long (containsNull = true) 

Answer 1

explode ist genau die Funktion:

import org.apache.spark.sql.functions._ 

df.select($"id", explode($"lists")).select($"id", $"col.text", $"col.amount")