Wie Sie AWS EMR Spark- und Zeppelin-Versionskonflikte beheben können?

AWS EMR 5.0 wird mit Spark: Spark 2.0.0 on Hadoop 2.7.2 YARN with Ganglia 3.7.2 and Zeppelin 0.6.1 vorverpackt geliefert, aber Zeppelin 0.6.1 unterstützt nur Spark 1.6.x. Gibt es eine Möglichkeit, die Versionsdiskrepanz zu beheben, ohne eine benutzerdefinierte Version von Zeppelin zu erstellen und bereitzustellen?Wie Sie AWS EMR Spark- und Zeppelin-Versionskonflikte beheben können?

Quelle

2016-09-20 SergeyB

Die angepasste Version von Zeppelin auf emr-5.0.0 funktioniert mit Spark 2.0.

Quelle

2016-09-21 02:42:38 spew

gleich hier. Ich habe kein Problem mit Zeppelin mit Funken 2.0 auf EMR 5.0 (beide pyspark und Funken) – Niros

Hinweis: Die Version von Zeppelin auf emr-5.0.0 ist 0.6.1-SNAPSHOT, weil 0.6.1 wurde nicht vollständig freigegeben von der Zeit emr- 5.0.0 wurde gerade veröffentlicht. Die 0.6.1-SNAPSHOT-Version, die mit emr-5.0.0 veröffentlicht wurde, ist jedoch nicht weit von der Version 0.6.1 entfernt, die Spark 2.0 unterstützt. –

Auch die offizielle Version von Zeppelin 0.6.1 wurde in emr-4.8.0 veröffentlicht (einige Zeit nachdem emr-5.0.0 herauskam), und Zeppelin 0.6.1 wird auf der nächsten Version von emr-5.x erscheinen wenn es rauskommt. –

Dies ist nicht wahr. Zeppelin 0.6.1 war die erste Version, die mit Spark 2.0.0 funktioniert.

Quelle

2016-09-21 10:19:22

Beachten Sie, dass der mit EMR 5.0.0 ausgelieferte Zeppelin 0.6.1-SNAPSHOT fehlerhaft ist und nur spark 2.0 unterstützt. Insbesondere funktionieren UDFs nicht. Das ist in Zeppelin 0.6.2 festgelegt – conradlee

Wie Sie AWS EMR Spark- und Zeppelin-Versionskonflikte beheben können?

Antwort

Verwandte Themen