Spark-Datenrahmen: Wie sowohl numerische und Nenn Spalten aggregieren

Question

I Spark-Dataframes bin mit und haben Datenrahmen df ähnlich wie diese:

id: String | amount: Double | donor: String 
-------------------------------------------- 
1   | 50    | Mary 
2   |100    | Michael 
1   | 60    | Minnie 
1   | 20    | Mark 
2   | 55    | Mony 

ich meine Datenrahmen in einem Rutsch aggregieren möchten, und bekommen diese Ausgabe:

id: String | amount: Double | donor: Seq[String] 
-------------------------------------------- 
1   |130    | {Mary,Minnie,Mark} 
2   |155    | {Michael, Mony} 

Deshalb möchte ich etwas tun:

df.groupyBy("id").agg(sum("amount"),_?Seq?_("donor"))

Aggregieren der Summe der Zahlen ist einfach, aber ich finde keine Möglichkeit, den Textinhalt als eine Sequenz oder Array (oder einen ähnlichen Typ, der Iterable ist) zu aggregieren. Wie kann ich das in scala/funken machen?

EDIT:

Ich suche für einige Funken Datenrahmen oder RDD basierte Funktion, um die Sammlung von Strings zu tun. Funktionen wie die unten genannten collect_set sind Hive-basiert und ich brauche spezifische Abhängigkeiten dafür. Aber ich verwende Hive überhaupt nicht in meinem Projekt.

Answer 1

Versuchen:

df.groupyBy("id").agg(sum("amount"), collect_list("donor")) 

oder

df.groupyBy("id").agg(sum("amount"), collect_set("donor"))