pyspark Matrix mit Dummy-Variablen

Question

hat zwei Spalten:

ID Text 
1 a 
2 b 
3 c 

Wie kann ich in der Lage Matrix mit Dummy-Variablen wie folgt zu erstellen:

ID a b c 
1 1 0 0 
2 0 1 0 
3 0 0 1 

Mit pyspark Bibliothek und ihre Funktionen?

Answer 1

from pyspark.sql import functions as F 

df = sqlContext.createDataFrame([ 
    (1, "a"), 
    (2, "b"), 
    (3, "c"), 
], ["ID", "Text"]) 

categories = df.select("Text").distinct().rdd.flatMap(lambda x: x).collect() 

exprs = [F.when(F.col("Text") == category, 1).otherwise(0).alias(category) 
     for category in categories] 

df.select("ID", *exprs).show() 

Ausgabe

+---+---+---+---+ 
| ID| a| b| c| 
+---+---+---+---+ 
| 1| 1| 0| 0| 
| 2| 0| 1| 0| 
| 3| 0| 0| 1| 
+---+---+---+---+