Python Spark Dataframes: Bessere Möglichkeit, Gruppen in Textdatei zu exportieren

Question

Ich möchte Daten in separate Textdateien exportieren; Ich kann es mit diesem Hack tun:

for r in sqlContext.sql("SELECT DISTINCT FIPS FROM MY_DF").map(lambda r: r.FIPS).collect(): 
    sqlContext.sql("SELECT * FROM MY_DF WHERE FIPS = '%s'" % r).rdd.saveAsTextFile('county_{}'.format(r)) 

Was ist der richtige Weg, es mit Spark 1.3.1/Python Datenrahmen zu tun? Ich möchte es in einem einzigen Job machen, im Gegensatz zu N (oder N + 1) Jobs.

können sein:

saveAsTextFileByKey()

Answer 1

Funken im Allgemeinen nicht über RDD Operationen mit mehreren Ausgängen. Aber zum Schreiben von Dateien gibt es einen netten Trick: Write to multiple outputs by key Spark - one Spark job