Wie die Art der Array mit Daten-Set in Funken scala setzen

Question

ich ein Quelldaten wie dieses:

{A:123,B:"Hello world",C:[{D:123,E:"Spark"}]} 

Und ich habe ein Objekt:

case class TestClass (A:Int;B:String;C:???) 
val obj:Dataset[TestClass] = df.as[TestClass] 

Wie soll ich die Art der Definition C?

Answer 1

Eine Option

case class Nested(D: Long, E: String) 
case class TestClass (A: Long, B:String, C: Seq[Nested]) 

Verbrauch:

spark.read.json(sc.parallelize(
    Seq("""{"A": 123, "B": "Hello world", "C": [{"D": 123, "E": "Spark"}]}""" 
))).as[TestClass].show 

+---+-----------+-------------+ 
| A|   B|   C| 
+---+-----------+-------------+ 
|123|Hello world|[[123,Spark]]| 
+---+-----------+-------------+