Wert mit groupByKey hinzufügen

Question

Ich habe einige Probleme mit groupByKey in Scala und Spark. Ich habe 2 Fallklassen:

case class Employee(id_employee: Long, name_emp: String, salary: String) 

Im Moment ich diese zweite Fall-Klasse verwenden:

case class Company(id_company: Long, employee:Seq[Employee]) 

Allerdings mag ich es mit diesem neuen ersetzen:

case class Company(id_company: Long, name_comp: String employee:Seq[Employee]) 

Es gibt ein übergeordnetes DataSet (df1), das ich mit groupByKey verwende, um Company Objekte zu erstellen:

val companies = df1.groupByKey(v => v.id_company) 
.mapGroups(
    { 
    case(k,iter) => Company(k, iter.map(x => Employee(x.id_employee, x.name_emp, x.salary)).toSeq) 
    } 
).collect() 

Dieser Code funktioniert, es gibt Objekte wie dieses:

Company(1234,List(Employee(0987, John, 30000),Employee(4567, Bob, 50000))) 

Aber ich finde nicht die Spitze der Gesellschaft name_comp auf diese Objekte hinzuzufügen (dieses Feld existiert df1). Um Objekte wie folgt aus (mit dem neuen Fall-Klasse) abzurufen:

Company(1234, NYTimes, List(Employee(0987, John, 30000),Employee(4567, Bob, 50000))) 

Answer 1

Da Sie sowohl das Unternehmen ID und den Namen, was Sie tun können, ist ein Tupel als Schlüssel zu verwenden, wenn Sie Gruppe Ihre Daten. Dies wird beiden Werte leicht zugänglich machen, wenn die Company Klasse Konstruktion:

df1.groupByKey(v => (v.id_company, v.name_comp)) 
    .mapGroups{ case((id, name), iter) => 
    Company(id, name, iter.map(x => Employee(x.id_employee, x.name_emp, x.salary)).toSeq)} 
    .collect()