pyspark: append/Merge PythonRDD zu einem pyspark Datenrahmen

Question

ich den folgenden Code bin mit einem Clustermodell zu erstellen, dann jeden Datensatz auf bestimmte Cluster klassifizieren:

from pyspark.mllib.clustering import KMeans 
from pyspark.mllib.linalg import Vectors 

spark_df = sqlContext.createDataFrame(pandas_df) 
rdd = spark_df.rdd.map(lambda data: Vectors.dense([float(c) for c in data])) 
model = KMeans.train(rdd, 2, maxIterations=10, initializationMode="random") 

result = model.predict(red) 

Wie anhängen ich das vorhergesagte Ergebnis zurück an die spark_df als zusätzliche Spalte? Vielen Dank!

Answer 1

pyspark.mllib.clustering.KMeansModel ist eines der seltenen Modelle, die direkt in PySpark Transformation verwendet werden können, so können Sie einfach map mit predict:

rdd.map(lambda point: (model.predict(point), point)) 

Im allgemeinen Fall, wenn es nicht möglich zip ist das richtige Werkzeug für den Job ist:

rdd.zip(model.predict(rdd))