wie man den Funken rdd durch den Schlüssel unterscheidet?

Question

jetzt habe ich eine RDD, die die Datensätze in der RDD sind wie folgt:

key1 value1 
key1 value2 
key2 value3 
key3 value4 
key3 value5 

ich die RDD Datensätze erhalten möchten, die verschiedene Schlüssel haben, wie folgt:

key1 value1 
key2 value3 
key3 value4 

ich kann Verwenden Sie einfach die Spark-Core-APIs und aggregieren Sie keine Werte desselben Schlüssels.

Answer 1

Sie können dies tun, mit PairRDDFunctions.reduceByKey. Angenommen, Sie haben eine RDD[(K, V)]:

rdd.reduceByKey((a, b) => if (someCondition) a else b) 

Answer 2

Mit Datenrahmen und collect_set:

sqlContext.createDataFrame(rdd).toDF("k", "v") 
    .groupBy("k") 
    .agg(collect_set(col("v")))