Wurde die Spark-Version des Google Cloud Dataproc-Vorschaubilds geändert?

Question

Ich habe kürzlich einen Spark-Cluster in Google Cloud Dataproc mit dem Vorschaubild gestartet. Laut der Dokumentation ist die Spark-Version des Vorschaubilds '2.1.0', jedoch zeigt spark-shell --version, dass der Cluster tatsächlich Spark 2.2.0 ausführt. Dies ist ein Problem für uns, da unsere Version spark-avro nicht mit Spark 2.2.0 kompatibel ist. Hat noch jemand dieses Problem? Ich habe keine Spur einer offiziellen Ankündigung von Google bezüglich des Versions-Bums gefunden.

Answer 1

Entschuldigung, es scheint, dass die Minor Release Notes für das aktuelle preview Image-Update im Ether verloren gegangen sind; Die Dokumentation sollte hoffentlich bis morgen aktualisiert werden. In der Tat haben Sie Recht, dass die aktuelle Dataproc preview Version jetzt Spark 2.2.0 ist. Wenn Sie an ein bekanntes funktionierendes älteres Vorschaubild anpinnen müssen, können Sie Folgendes versuchen:

gcloud dataproc clusters create --image https://www.googleapis.com/compute/v1/projects/cloud-dataproc/global/images/dataproc-1-2-20170227-145329 

Das sollte Spark 2.1.0 enthalten. Beachten Sie jedoch, dass es im Allgemeinen immer möglich ist, dass inkompatible Änderungen an neuen Vorschaubildern vorgenommen werden, und dass das Pinnen auf dieses ältere Vorschaubild nicht garantiert ist, dass es langfristig weiter funktioniert.

In Ihrem Fall, wissen Sie zufällig, ob Sie diese issue filed on spark-avro schlagen oder ist es etwas spezifisch für Ihre Version? Im Idealfall sollten wir Sie auf Spark 2.2 updaten, da mit Spark 2.2 eine offizielle (nicht Vorschau) Image-Version bevorsteht.