Apache Spark-Dataframe GROUPBY agg() für mehrere Spalten

Question

Ich habe ein DataFrame mit 3 Spalten d Id, First Name, Last Name

I GroupBy auf der Basis von Id anwenden möchten, und wollen First Name, Last Name Spalte als Liste sammeln.

Beispiel: - Ich habe einen DF wie diese

+---+-------+--------+ 
|id |fName |lName | 
+---+-------+--------+ 
|1 |Akash |Sethi | 
|2 |Kunal |Kapoor | 
|3 |Rishabh|Verma | 
|2 |Sonu |Mehrotra| 
+---+-------+--------+ 

und ich möchte, dass meine Ausgabe wie folgt

+---+-------+--------+--------------------+ 
|id |fname   |lName    | 
+---+-------+--------+--------------------+ 
|1 |[Akash]   |[Sethi]    | 
|2 |[Kunal, Sonu] |[Kapoor, Mehrotra] | 
|3 |[Rishabh]  |[Verma]    | 
+---+-------+--------+--------------------+ 

Vielen Dank im Voraus

Answer 1

Sie mehrere Spalten wie folgt zusammenfassen kann:

Es wird Ihnen das erwartete Ergebnis geben.