Spark: Wie speichert man einen Datenrahmen mit Kopfzeilen?

Question

dataframe.saveasTextFile, speichert nur die Daten in einem begrenzten Format. Wie speichere ich den Datenrahmen mit Kopfzeilen in JAVA.

sourceRufFrame.toJavaRDD().map(new TildaDelimiter()).coalesce(1, true).saveAsTextFile(targetSrcFilePath); 

Answer 1

Wenn Sie als CSV-Datei speichern möchten, würde ich spark-csv Paket vorschlagen, mit. Sie können Ihren Datenrahmen einfach mit spark-csv wie unten mit Header speichern.

dataFrame.write 
    .format("com.databricks.spark.csv") 
    .option("header", "true") 
    .option("delimiter",<your delimiter>) 
    .save(output) 

Sie können weitere Informationen unter Link finden: https://github.com/databricks/spark-csv

Spark-csv Maven Abhängigkeit hat.

Answer 2

Mit Spark-2.x

df.write.option("header", "true").csv("path") 

Prost