einen Datenrahmen zu den häufigsten Kombinationen von zwei Säulen Reduzierung

Question

ich eine JSON-Datei, die ich den folgenden Code importieren mit:

spark = SparkSession.builder.master("local").appName('GPS').config(conf=SparkConf()).getOrCreate() 
df = spark.read.json("SensorData.json") 

Das Ergebnis ist ein Datenrahmen ähnlich wie diese:

+---+---+ 
| A| B| 
+---+---+ 
| 1| 3| 
| 2| 1| 
| 2| 3| 
| 1| 2| 
| 3| 1| 
| 1| 2| 
| 2| 1| 
| 1| 3| 
| 1| 2| 
+---+---+ 

Meine Aufgabe besteht darin, PySpark zu verwenden, um die Daten auf nur die häufigsten Kombinationen von zwei Spalten zu reduzieren (A und B).

Also die gewünschte Ausgabe ist diese

+---+---+-----+ 
| A| B|count| 
+---+---+-----+ 
| 1| 2| 3| 
| 2| 1| 2| 
+---+---+-----+ 

Answer 1

können Sie tun das mit einer Kombination aus groupBy und Grenze:

spark = SparkSession.builder.master("local").appName('GPS').config(conf=SparkConf()).getOrCreate() 
df = spark.read.json("SensorData.json") 

df.groupBy("A","B") 
    .count() 
    .sort("count",ascending = False) 
    .limit(2) 
    .show() 
+---+---+-----+ 
| A| B|count| 
+---+---+-----+ 
| 1| 2| 3| 
| 2| 1| 2| 
+---+---+-----+