Spark kryo Serialisierungsregister Datentyp []

Question

Um zu erzwingen, dass funke die kryo-Serialisierung verwendet, kann die folgende Option spark.kryo.registrationRequired gesetzt werden.

Wie kann ich mich registrieren org.apache.spark.sql.types.DataType[]?

Class is not registered: org.apache.spark.sql.types.DataType[] 

die eine Ausnahme auslöst. Aber versuchen zu registrieren wie classOf[org.apache.spark.sql.types.DataType[]] wird nicht kompilieren

Answer 1

Ich war verwirrt mit Java und Scala Array-Notation.

classOf[Array[org.apache.spark.sql.types.DataType]] 

ist die korrekte Registrierung.

Nichtsdestoweniger ist dies eine interne Funkenklasse, die bereits von funken registriert werden sollte.