Datenverlust nach dem Schreiben in Funken

Question

Ich erhalte einen resultierenden Datenrahmen nach einigen Berechnungen über es.Sagen Sie den Datenrahmen ist das Ergebnis. Wenn ich es in Amazon S3 schreibe, gibt es bestimmte Zellen, die leer angezeigt werden. Die oberen 5 meines Ergebnisdatenrahmens sind:

_________________________________________________________ 
|var30 |var31 |var32 |var33 |var34 |var35 |var36| 
-------------------------------------------------------- 
|-0.00586|0.13821 |0  |  |1  |  |  | 
|3.87635 |2.86702 |2.51963 |8  |11  |2  |14 | 
|3.78279 |2.54833 |2.45881 |  |2  |  |  | 
|-0.10092|0  |0  |1  |1  |3  |1 | 
|8.08797 |6.14486 |5.25718 |  |5  |  |  | 
--------------------------------------------------------- 

But when i run result.show() command i am able to see the values. 

_________________________________________________________ 
|var30 |var31 |var32 |var33 |var34 |var35 |var36| 
-------------------------------------------------------- 
|-0.00586|0.13821 |0  |2  |1  |1  |6 | 
|3.87635 |2.86702 |2.51963 |8  |11  |2  |14 | 
|3.78279 |2.54833 |2.45881 |2  |2  |2  |12 | 
|-0.10092|0  |0  |1  |1  |3  |1 | 
|8.08797 |6.14486 |5.25718 |20  |5  |5  |34 | 
--------------------------------------------------------- 

Auch die leeren werden in den gleichen Zellen jedes Mal angezeigt, wenn ich es ausführen.

Answer 1

Verwenden Sie diese Daten auf Ihren s3 DataFrame.repartition(1).write.format("com.databricks.spark.csv").option("header", "true").save("s3n://Yourpath")