Spark-Scala - Wie neue Spalte für jede Gruppe erstellen und dann die Spaltenwerte in Funkendatenrahmen explodieren

Question

Meine Datenrahmen wie unten ist Col Namen Index, Wörter

Index | words 
one | {col1: a, col2: b} 
one | {col1: c, col2: d} 
two | {col1: a, col2: b} 
two | {col1: e, col2: f} 

Ich suche eine Ausgabe wie unten Output df Spaltennamen eins, zwei

one | two 
{col1: a, col2: b} | {col1: a, col2: b} 
{col1: c, col2: d} | {col1: e, col2: f} 

Irgendein bitte helfen Sie mir heraus auf diesem. Ich bin mit Funken 1.5.2 Version

Answer 1

Wenn Sie sicher sind, dass es für jeden Indexwert zwei Wörter sein würde, kann man die folgenden verwenden:

sqlContext.sql("select Index, collect_list(words)[0],collect_list(words)[1] from yourTable group by Index").show