Wie mehrere RDDs in pyspark beitreten, ohne DF zu konvertieren

Question

Ich habe drei RDDs (x, y, z), die ich möchte mitmachen. Das erste Element aller drei RDDs ist der Schlüssel, der für den Join verwendet wird.

Ich weiß, wie zwei verbinden:

rdd1 = x.map(lambda r: (r[0], r[1:])) 
rdd2 = y.map(lambda r: (r[0], r[1:])) 
rdd1_rdd2 = rdd1.join(rdd2) 

Wie kann ich die dritte RDD, z verbinden, rdd1_rdd2?

Answer 1

Fügen Sie einfach eine andere verbinden und glätten das Ergebnis:

rdd1_rdd2.join(rdd3).mapValues(lambda x: x[0] + (x[1],))