Welche Formel verwendet Spark, um die Anzahl reduzierter Aufgaben zu berechnen?Anzahl Aufgaben reduzieren Spark
Ich führe ein paar Spark-SQL-Abfragen und die Anzahl der reduzieren Aufgaben ist immer 200. Die Anzahl der Map-Aufgaben für diese Abfragen ist 154. Ich bin auf Spark 1.4.1.
Ist dies im Zusammenhang mit spark.shuffle.sort.bypassMergeThreshold, die standardmäßig auf 200