speichert großen Funkendatenrahmen als eine einzelne JSON-Datei in S3

Question

Im Versuch, einen Funken Datenrahmen zu speichern (von mehr als 20 g) zu einer einzigen JSON-Datei in Amazon S3, mein Code, um den Datenrahmen zu speichern ist wie folgt:

dataframe.repartition(1).save("s3n://mybucket/testfile","json") 

Aber ich bekomme einen Fehler von S3 "Ihr vorgeschlagener Upload überschreitet die maximal zulässige Größe", ich weiß, dass die maximale Dateigröße von Amazon 5 GB ist.

Ist es möglich, S3-Multipart-Upload mit Spark zu verwenden? oder gibt es einen anderen Weg, dies zu lösen?

Btw ich brauche die Daten in einer einzigen Datei, weil ein anderer Benutzer es nach herunterladen wird.

* Ich benutze Apache Funke 1.3.1 in einem 3-Knoten-Cluster mit dem Spark-ec2-Skript erstellt.

Vielen Dank

JG

Answer 1

Ich würde versuchen, die großen Datenrahmen in eine Reihe von kleineren Datenrahmen zu trennen, die Sie dann in die gleiche Datei im Ziel anhängen.

df.write.mode('append').json(yourtargetpath) 

Answer 2

s3a nicht Serienversion in Spark ist, denke ich. Ich würde sagen, das Design ist nicht gesund. repartition (1) wird fürchterlich sein (was du sagst, funke ist, alle Partitionen zu einem einzigen zusammenzuführen). Ich würde vorschlagen, den Downstream zu überzeugen, Inhalte aus einem Ordner anstelle einer einzigen Datei

Answer 3

Versuchen Sie, diese

dataframe.write.format("org.apache.spark.sql.json").mode(SaveMode.Append).save("hdfs://localhost:9000/sampletext.txt");