Datensatz Encoder für Scala-Sammlungen

Question

Ich bekomme eine Ausnahme beim Versuch, Datensatz von s3 zu lesen. Firmenfallklasse enthält Satz mit Mitarbeiterfallklasse.

Exception in thread "main" java.lang.UnsupportedOperationException: No Encoder found for Set[com.model.company.common.Employee] 
- field (class: "scala.collection.immutable.Set", name: "employees") 
- field (class: "com.model.company.Company", name: "company") 

Ich habe versucht, mit Kryo:

implicit def myDataEncoder[T]: Encoder[Set[Employee]] = Encoders.kryo[scala.collection.immutable.Set[Employee] 

, aber es funktioniert auch nicht. Wissen Sie, wie Sie die Scala-Sammlung in einen Datensatz konvertieren?

Code:

val sqlContext = sparkSession.sqlContext 
import sqlContext.implicits._ 

val records = sparkSession.read.json(s"s3a://${config.input.fullPath}").as[Company] 

Answer 1

Ändern von List, Set -> Seq

Weitere Informationen über Daten-Set-Datentyp finden Sie hier: https://spark.apache.org/docs/latest/sql-programming-guide.html#data-types