Führt ein Join von gemeinsam partitionierten RDDs zu einem Shuffle in Apache Spark?

Question

Wird rdd1.join(rdd2) dazu führen, dass ein Shuffle auftritt, wenn rdd1 und den gleichen Partitionierer haben?

Answer 1

Nein. Wenn zwei RDDs den gleichen Partitionierer haben, verursacht join keinen Shuffle. Sie können dies in CoGroupedRDD.scala sehen:

override def getDependencies: Seq[Dependency[_]] = { 
    rdds.map { rdd: RDD[_ <: Product2[K, _]] => 
    if (rdd.partitioner == Some(part)) { 
     logDebug("Adding one-to-one dependency with " + rdd) 
     new OneToOneDependency(rdd) 
    } else { 
     logDebug("Adding shuffle dependency with " + rdd) 
     new ShuffleDependency[K, Any, CoGroupCombiner](rdd, part, serializer) 
    } 
    } 
} 

ist jedoch zu beachten, dass das Fehlen eines Shuffle bedeutet nicht, dass keine Daten zwischen den Knoten bewegt werden müssen. Es ist möglich, dass zwei RDDs den gleichen Partitionierer haben (co-partitioniert), aber die entsprechenden Partitionen auf verschiedenen Knoten (nicht gemeinsam) liegen.

Diese Situation ist immer noch besser als ein Shuffle, aber es ist etwas zu beachten. Co-location kann die Leistung verbessern, ist jedoch schwer zu garantieren.