Ich habe einen Eingang A, die ich in eine rdd X über den Cluster verteilt konvertieren.Spark Hand Daten mischen
führe ich bestimmte Operationen auf sie.
Dann mache ich .repartition(1) am Ausgang rdd.
Ist mein Ausgang rdd in der gleichen Reihenfolge wie der Eingang A.
Funkt Funken automatisch? Wenn ja, wie?
Die Dokumentation garantiert nicht, dass die Bestellung aufbewahrt wird, Sie können also davon ausgehen, dass dies nicht der Fall ist. Wenn Sie bei der Umsetzung aussehen, sehen Sie, es wird sicherlich nicht (es sei denn Ihr bereits original RDD 1 Partition aus irgendeinem Grund hat): repartitioncoalesce(shuffle = true) nennt, die
Distributes elements evenly across output partitions, starting from a random partition.
Was würde Machst du das? Warum sollten die Daten auf einer einzelnen Partition neu partitioniert werden? –
@YuvalItzchakov Muss die Ausgabe in einer einzigen Datei drucken. – Azrael