Apache Spark-Wordcount-Methode nicht das Sortieren von Daten

Question

def wordCount(dataSet: RDD[String]): Map[String, Int] = { 
    val counts = dataSet.flatMap(line => line.split(",")) 
     .map(word => (word, 1)) 
     .reduceByKey(_ + _) 
     .sortBy(_._2, ascending = false) 
     counts.collectAsMap() 
} 

Diese Methode ist nicht die Endergebnis Sortierung als aspected

.sortBy(_._2, ascending = false)

der Ausgang dieses Verfahrens in absteigender Reihenfolge sein wird, aber der Ausgang ist immer noch der Zufall irgendein Grund oder Lösung?

Answer 1

Methode collectAsMap() erstellt intern eine HashMap mit Werten, die in diesem Fall nicht geordnet sind. Verwenden Sie collect oder takeOrdered für sortierte Werte.