Funke: Scramble RDDs und zip sie

Question

Ich habe zwei RDDs der gleichen Länge, und ich möchte sie zufällig zusammen zippen (zB erste RDD ist (A, B, C, D) und zweite ist (W, X, Y, Z) und ich möchte eine zufällige zip wie (AX, BZ, CW, DY). Was für eine schnelle Art und Weise ist dies mit pySpark zu tun?

Answer 1

das ist, was Sie?

x = sc.parallelize(['A','B','C','D']) 
y = sc.parallelize(['W','X','Y','Z']) 
x = x.takeSample(False, 4) 
y = y.takeSample(False, 4) 
combine = zip(x,y) 
combine 
>> [('D', 'Z'), ('B', 'X'), ('A', 'W'), ('C', 'Y')] 

Answer 2

Sie benötigen können :

from pyspark.sql.functions import rand 

s = lambda x: (x[1], x[0]) 

def shuffle(rdd): 
    return rdd.map(lambda x: (x,)) \ 
       .toDF(["data"]).withColumn("rand", rand()) \ 
       .orderBy("rand") \ 
       .rdd.map(lambda x: x.data) 

shuffle(rdd1).zipWithIndex().map(s).join(rdd2.zipWithIndex().map(s)).values()