Funken RDD saveAsTextFile nicht verwenden, um die angegebenen Dateinamen

Question

Ich habe einige Codes wie diese

wordCounts 
    .map{ case (word, count) => 
    Seq(
     word, 
     count 
    ).mkString("\t") 
    } 
    .coalesce(1,true) 
    .saveAsTextFile("s3n://mybucket/data/myfilename.csv") 

jedoch myfilename.csv als Verzeichnis in meinem S3 Eimer und die Dateinamen so etwas wie myfilename.csv ist immer erstellt wurde/Teil-00000? Gibt es eine Möglichkeit, den Namen der Datei, in die ich schreibe, zu ändern? Vielen Dank!

Answer 1

Ich schlage vor, dass Sie das Spark-CSV-Paket von Databrick zum Lesen und Schreiben von CSV-Dateien in Spark verwenden. Einer der (vielen) Vorteile der Verwendung dieses Pakets ist, dass Sie den Namen der Ausgabe-CSV-Datei angeben können :)