Überschreiben einer Funken Ausgabe pyspark mit

Question

Ich versuche, einen Funken Datenrahmen mit der folgenden Option in PySpark zu überschreiben, aber ich bin nicht erfolgreich

spark_df.write.format('com.databricks.spark.csv').option("header", "true",mode='overwrite').save(self.output_file_path) 

die mode = Überschreibungsbefehl

Answer 1

Versuch nicht erfolgreich ist:

spark_df.write.format('com.databricks.spark.csv') \ 
    .mode('overwrite').option("header", "true").save(self.output_file_path) 

Answer 2

Funken 1.4 und hat oben eine im CSV-Funktion für die dataframewriter gebaut

https://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrameWriter

z.B.

spark_df.write.csv(path=self.output_file_path, header="true", mode="overwrite")