Pivot in PYSPARKSQL

Question

Ich habe eine Anforderung, Pivot auf unter Tabelle zu verwenden.

id,week,score 
102,1,96 
101,1,138 
102,1,37 
101,1,59 
101,2,282 
102,2,212 
102,2,78 
101,2,97 
102,3,60 
102,3,123 
101,3,220 
101,3,87 

Ausgang

 1   2   3 

101 138,59 282,97  220,87 
102 96,37 212,78  123,60 

hier i sortieren müssen

Punkte Ich habe unten Code versucht, aber es funktioniert nur, wenn es einen einzelnen Datensatz auf einer bestimmten ID ist

df.groupBy("id").pivot("week").agg(first("score")) 

Answer 1

Anstelle von first sollten Sie alle Werte miterfassen, dies wird Ihnen das Ergebnis in der Liste geben

import org.apache.spark.sql.functions._ 

df.groupBy("id").pivot("week").agg(collect_list("score")).show() 

Ausgang:

+---+---------+---------+---------+ 
|id |1  |2  |3  | 
+---+---------+---------+---------+ 
|101|[138, 59]|[282, 97]|[220, 87]| 
|102|[96, 37] |[212, 78]|[60, 123]| 
+---+---------+---------+---------+ 

Answer 2

Equivalent Python Code für pyspark für die scala Antwort gepostet von Prasad Khode ist als unten

from pyspark.sql import functions as F 
df.groupBy("id").pivot("week").agg(F.collect_list("score")).show() 

Wenn Sie das api-Dokument überprüfen, können Sie

sehen

collect_list (Spalte e)
Aggregatfunktion: gibt eine Liste von Objekten mit Duplikaten zurück.

Sie können auch collect_set verwenden, die Ihnen die gleiche Ausgabe mit entfernten Duplikaten geben wird.

df.groupBy("id").pivot("week").agg(F.collect_set("score")).show() 

api Dokument sagt der folgende

collect_set (Spalte e)
Aggregat Funktion: eine Reihe von Objekten mit doppelten Elementen zurückgibt eliminiert.