Spark 2.0 final wurde letzte Woche veröffentlicht - wann können wir es auf Dataproc erwarten? Spark 2.0 verwendet Scala 2.11 als Standard - bedeutet das, dass Dataproc Scala 2.11 verwendet?Spark 2.0 und Scala 2.11 auf Dataproc?
Scala 2.11 ist eigentlich das Feature, auf das wir am meisten warten. Scala 2.10 wird alt und wir haben ein paar Bibliotheken, die wir verwenden möchten, die wir nicht können, weil sie 2.10 nicht unterstützen.
Um dies zu verfolgen, hat Cloud Dataproc 1.1, neu in dieser Woche veröffentlicht, Spark 2.0 und Scala 2.11 und ist für den Einsatz in der Produktion gedacht. Weitere Details finden Sie unter release notes!
Dataproc hat eine preview image version mit Spark 2.0 (derzeit eine frühere RC) und Scala 2.11, die Sie heute ausprobieren können.
Es wird nicht für Anwendungsfälle in der Produktion unterstützt, da es weniger überprüft wird und wir Änderungen vornehmen werden, wenn wir die Vorschau zu einer neuen voll unterstützten Image-Version verfeinern. Wenn es vollständig stabilisiert ist, werden wir eine neue Bildversion mit Spark 2 und Scala 2.11 liefern.