Speichern Datenrahmen als JSON in spezifischen Struktur in Spark-Scala

Question

Ich habe eine dataframe df die als json Datei in der folgenden Struktur gespeichert werden können: {"id":"1234567890","score":123.0,"date":yyyymmdd}

für erstinstanzlichen ich es speichere wie folgt:

df.write.format("json").save("path") 

Diese df benötigt als json Datei in der folgenden Struktur id::1234567890\t{"id":"1234567890","score":123.0,"date":yyyymmdd}

ich verschiedene Weise versucht, gespeichert, aber konnte es nicht tun. Wie können wir es im gewünschten Format speichern?

Spark version: 1.6.0 
Scala version: 2.10.6 

Answer 1

Das ist nicht json Format. Sie verwenden besser eine rdd und transformieren sie dann in das benutzerdefinierte Format.

final case class LineOfSomething(id: String, score: BigDecimal, date: String) 
import sqlContext.implicits._ 
df 
    .as[LineOfSomething] 
    .rdd 
    .mapPartitions(lines => { 
    val mapper = new com.fasterxml.jackson.databind.ObjectMapper() 
    mapper.registerModule(com.fasterxml.jackson.module.scala.DefaultScalaModule) 
    lines.map(line => { 
     val json = mapper.writeValueAsString(line) 
     s"id::${line.id}\t$json" 
    }) 
    }) 
    .saveAsTextFile(output)