Pyspark Speichern Sie Datenframe zu S3

Question

Ich möchte Dataframe zu s3 speichern, aber wenn ich die Datei zu s3 speichern, erstellt es leere Datei mit ${folder_name}, in dem ich die Datei speichern möchte.

Syntax der Datenrahmen zu speichern: -

f.write.parquet("s3n://bucket-name/shri/test") 

Es speichert die Datei in Testordner aber es schafft $test unter shri.

Gibt es eine Möglichkeit, die ich speichern kann, ohne diesen zusätzlichen Ordner zu erstellen?

Answer 1

Soweit ich weiß, gibt es keine Möglichkeit, die Benennung der eigentlichen Parkettdateien zu kontrollieren. Wenn Sie einen Datenrahmen in Parkett schreiben, geben Sie an, wie der Verzeichnisname lauten soll, und spark erstellt die entsprechenden Parkettdateien in diesem Verzeichnis.

Answer 2

Ich konnte es mit dem folgenden Code tun.

df.write.parquet("s3a://bucket-name/shri/test.parquet",mode="overwrite") 

Answer 3

Ich habe einen ähnlichen Beitrag auf Stapel gefunden, hier ist der Link. Es hat Antwort auf die Frage.

Junk Spark output file on S3 with dollar signs