Pyspark Anzahl deutliche Werte von Etiketten eines markierten Punkt RDD

Question

Ich habe eine RDD von labeled point in Spark. Ich möchte alle eindeutigen Werte von Labels zählen. Ich versuche, etwas

from pyspark.mllib.regression import LabeledPoint 

train_data = sc.parallelize([ LabeledPoint(1.0, [1.0, 0.0, 3.0]),LabeledPoint(2.0, [1.0, 0.0, 3.0]),LabeledPoint(1.0, [1.0, 0.0, 3.0]) ]) 

train_data.reduceByKey(lambda x : x.label).collect() 

Aber ich bekomme

TypeError: 'LabeledPoint' object is not iterable

Ich benutze Spark-2.1 ​​und Python 2.7. Danke für jede Hilfe.

Answer 1

Sie müssen nur Ihre LabeledPoint zu einem Schlüssel-Wert RDD konvertieren und dann mit Schlüsseln zählen:

spark.version 
# u'2.1.1' 

from pyspark.mllib.regression import LabeledPoint 

train_data = sc.parallelize([ LabeledPoint(1.0, [1.0, 0.0, 3.0]),LabeledPoint(2.0, [1.0, 0.0, 3.0]),LabeledPoint(1.0, [1.0, 0.0, 3.0]) ]) 

dd = train_data.map(lambda x: (x.label, x.features)).countByKey() 
dd 
# {1.0: 2, 2.0: 1}