Das erste Element für ein Tupel für jede Zeile in einer Liste in pyspark erhalten

Question

Ich bin ein bisschen neu zu Spark und ich versuche, eine einfache Zuordnung zu tun.
Meine Daten sind wie folgt aus:

RDD((0, list(tuples)), ..., (19, list(tuples)) 

Was ich will, ist grabbing in jedem Tupel das erste Element zu tun, also letztlich so etwas wie dieses:

RDD((0, list(first item of each tuple),..., (19, list(first item of each tuple)) 

mir jemand kann helfen mit, wie um das zu kartieren?
Ich werde das zu schätzen wissen!

Answer 1

können Sie mapValues verwenden, um die Liste von Tupeln auf eine Liste von Tupel zu konvertieren [0]:

rdd.mapValues(lambda x: [t[0] for t in x]) 

Answer 2

So ähnlich?

kv Hier bedeutet "Schlüssel-Wert" und Zuordnung itemgetter über die Werte. Also, map innerhalb einer map :-)

from operator import itemgetter 
rdd = sc.parallelize([(0, [(0,'a'), (1,'b'), (2,'c')]), (1, [(3,'x'), (5,'y'), (6,'z')])]) 
mapped = rdd.mapValues(lambda v: map(itemgetter(0), v)) 

Ausgabe

mapped.collect() 
[(0, [0, 1, 2]), (1, [3, 5, 6])]