Parse JSON-Daten mit Apache Spark und Scala

Click here to see Image Parse JSON-Daten mit Apache Spark und Scala

Ich habe diese Art von Datei mit Daten, bei denen jede Zeile ist ein JSON-Objekt mit Ausnahme ersten Wörter (eingebundene Bild sehen). Ich möchte diese Art von Datei mit Spark und Scala analysieren. Ich habe es mit sqlContext.read.json ("Pfad zu JSON-Datei") versucht, aber es gibt mir Fehler (beschädigte Daten), weil ganze Daten kein JSON-Objekt ist. Wie analysiere ich diese JSON-Datei zum SQL-Dataframe?

Quelle

2017-03-03 Akhil Choudhari

Wenn Sie ungültige JSON, können Sie es nicht analysieren kann jedes Werkzeug mit –

diese ungültig ist JSON? –

Nun, die Tatsache, dass Sie nicht JSON Daten vor dem eigentlichen JSON haben, dann ja, es ist in Sparks Augen nicht gültig. Sie müssen diese Daten separat extrahieren –

Try this:

val rawRdd = sc.textFile("path-to-the-file") 
val jsonRdd = rawRdd.map(_.substring(32)) //32 - number of first characters to ignore 

val df = spark.read.json(jsonRdd)

Quelle

2017-03-03 09:33:34 semsorock

Letzter Befehl gab mir einen Fehler unten gezeigt. bei org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus (FileInputFormat.java:287) bei org.apache.hadoop.mapred.FileInputFormat.listStatus (FileInputFormat.java:229) –

wäre es einfacher, wenn Sie einige bieten könnte Beispieldaten zum Testen. – semsorock

Welche Version von Spark verwenden Sie? – semsorock

Parse JSON-Daten mit Apache Spark und Scala

Antwort

Verwandte Themen