Wie erhält man den größten Schlüssel jeder Spark-Partition?

Question

Wenn wir .reduce(max) verwenden, dann erhalten wir den größten Schlüssel in der gesamten RDD. Ich weiß, dass dieses Reduzieren auf allen Partitionen funktioniert und dann die von jeder Partition gesendeten Elemente reduziert. Aber wie können wir den größten Schlüssel jeder Partition zurückbekommen? Schreibe eine Funktion für .mapPartitions()?

Answer 1

Sie können:

rdd.mapParitions(iter => Iterator(iter.reduce(Math.max))) 

oder

rdd.mapPartitions(lambda iter: [max(iter)]) 

Verwendung dieses mit DStream.trasform In Streaming.