KMeans mit Spark 1.6.2 VS Spark 2.0.0

Question

Ich verwende Kmeans() in einer Umgebung habe ich keine Kontrolle und ich werde in < 1 Monat aufgeben. Funken 1.6.2. ist installiert.

Sollte ich den Preis dafür zahlen, dass ich 'sie' aufgefordert habe, auf Spark 2.0.0 zu aktualisieren, bevor ich gehe? Mit anderen Worten, führt Spark 2.0.0 signifikante Verbesserungen, wenn es um kommt Spark Mllib KMeans()?

In meinem Fall ist Qualität wichtiger als Geschwindigkeit.

Answer 1

Es ist eher unwahrscheinlich.

Funken 2.0.0 führt keine any significant improvements to the core RDD API und KMeans Umsetzung didn't change much since 1.6 mit relativ wesentlichen Änderungen eingeführt nur durch SPARK-15322, SPARK-16696 und SPARK-16694.

Wenn Sie ML API verwenden, kann es auch einige Verbesserungen bezüglich SPARK-14850 geben, aber insgesamt sehe ich hier keine Spielwechsler.