Wie man die Anzahl der Parkettdateien steuert, die bei der Verwendung von partitionBy generiert wurden

Question

Ich habe eine DataFrame, die ich nach einer bestimmten Partitionierung in S3 schreiben muss. Der Code sieht wie folgt aus:

dataframe 
    .write 
    .mode(SaveMode.Append) 
    .partitionBy("year", "month", "date", "country", "predicate") 
    .parquet(outputPath) 

Die partitionBy die Daten in eine ziemlich große Anzahl von Ordnern aufgeteilt (~ 400) mit nur ein wenig von Daten (~ 1 GB) in jedem. Und hier kommt das Problem - weil der Standardwert von spark.sql.shuffle.partitions 200 ist, wird die 1 GB Daten in jedem Ordner in 200 kleine Parkett-Dateien aufgeteilt, woraus insgesamt etwa 80000 Parkett-Dateien geschrieben werden. Dies ist aus mehreren Gründen nicht optimal und ich möchte dies vermeiden.

Ich kann natürlich die spark.sql.shuffle.partitions auf eine viel kleinere Zahl, sagen wir 10, aber wie ich verstehe, steuert diese Einstellung auch die Anzahl der Partitionen für Shuffle in Joins und Aggregation, also will ich nicht wirklich das ändern.

Weiß jemand, ob es eine andere Möglichkeit gibt zu steuern, wie viele Dateien geschrieben werden?

Answer 1

Wie Sie richtig bemerkt haben, gilt spark.sql.shuffle.partitions nur für Shuffle und Joins in SparkSQL.

partitionBy in DataFrameWriter (Sie bewegen von DateFrame zu DateFrameWriter, sobald Sie write nennen) arbeitet einfach auf die vorherige Anzahl der Partitionen. (Die Partition des Writers weist der Tabelle/Parkett-Datei nur Spalten zu, die ausgeschrieben werden, hat also nichts mit der Anzahl der Partitionen zu tun. Das ist etwas verwirrend.)

Lange Rede, kurzer Sinn, einfach den DataFrame neu partitionieren bevor Sie es in einen Schriftsteller verwandeln.