Ich habe eine virtuelle Maschine, die Spark 1.3
drauf hat, aber ich möchte es auf Spark 1.5
vor allem aufgrund bestimmter unterstützter Funktionalitäten, die nicht in 1.3 waren. Ist es möglich, dass ich die Spark
Version von 1.3
auf 1.5
upgraden kann und wenn ja dann wie kann ich das tun?Wie kann Spark auf eine neuere Version aktualisiert werden?
Antwort
Vorgefertigte Spark-Distributionen, wie die, die ich glaube, basierend auf another question of yours, sind ziemlich einfach zu "upgraden", da Spark nicht wirklich "installiert" ist. Eigentlich alles, was Sie tun müssen, ist:
- Download der entsprechenden Funken Distro (vorgefertigte für Hadoop 2.6 und später in Ihrem Fall)
- Entpacken Sie die TAR-Datei in dem entsprechenden Verzeichnis (iewhere Ordner
spark-1.3.1-bin-hadoop2.6
schon ist) - aktualisieren Sie Ihre
SPARK_HOME
(und möglicherweise einige andere Variablen-Umgebung auf Ihrem Setup abhängig) entsprechend
Hier ist, was ich gerade tat, von 1.3.1 bis 1.5.2 zu gehen, in einer Umgebung, ähnlich wie bei Ihnen (Landstreicher VM Ubuntu):
1) in dem entsprechenden Verzeichnis
[email protected]:~$ cd $SPARK_HOME
[email protected]:/usr/local/bin/spark-1.3.1-bin-hadoop2.6$ cd ..
[email protected]:/usr/local/bin$ ls
ipcluster ipcontroller2 iptest ipython2 spark-1.3.1-bin-hadoop2.6
ipcluster2 ipengine iptest2 jsonschema
ipcontroller ipengine2 ipython pygmentize
[email protected]:/usr/local/bin$ sudo wget http://apache.tsl.gr/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz
[...]
[email protected]:/usr/local/bin$ ls
ipcluster ipcontroller2 iptest ipython2 spark-1.3.1-bin-hadoop2.6
ipcluster2 ipengine iptest2 jsonschema spark-1.5.2-bin-hadoop2.6.tgz
ipcontroller ipengine2 ipython pygmentize
Hinweis die TAR-Datei herunterladen, die der genaue Spiegel Sie mit wget
wird wahrscheinlich anders als meine, abhängig von Ihrem Standort verwendet werden sollen; Sie erhalten dies, indem Sie auf den Link "Download Spark" in der download page klicken, nachdem Sie den Pakettyp zum Herunterladen ausgewählt haben.
2) Entpacken Sie die Datei mit tgz
[email protected]:/usr/local/bin$ sudo tar -xzf spark-1.*.tgz
[email protected]:/usr/local/bin$ ls
ipcluster ipcontroller2 iptest ipython2 spark-1.3.1-bin-hadoop2.6
ipcluster2 ipengine iptest2 jsonschema spark-1.5.2-bin-hadoop2.6
ipcontroller ipengine2 ipython pygmentize spark-1.5.2-bin-hadoop2.6.tgz
können Sie sehen, dass Sie jetzt einen neuen Ordner haben, spark-1.5.2-bin-hadoop2.6
.
3) Aktualisieren Sie entsprechend SPARK_HOME
(und möglicherweise andere Umgebungsvariablen, die Sie verwenden), um auf dieses neue Verzeichnis anstatt auf das vorherige zu verweisen.
Und Sie sollten fertig sein, nach dem Neustart Ihrer Maschine.
Beachten Sie, dass:
- Sie brauchen nicht die vorherigen Zündverteiler zu entfernen, solange alle relevanten Umgebungsvariablen auf den neuen Punkt. Auf diese Weise können Sie sogar schnell zwischen der alten und der neuen Version hin- und herwechseln, falls Sie Dinge testen möchten (d. H. Sie müssen lediglich die relevanten Umgebungsvariablen ändern).
sudo
war in meinem Fall notwendig; Je nach Ihren Einstellungen ist es möglicherweise unnötig für Sie.- Nachdem sichergestellt wurde, dass alles einwandfrei funktioniert, empfiehlt es sich, die heruntergeladene Datei
tgz
zu löschen. - Sie können das gleiche Verfahren verwenden, um auf zukünftige Spark-Versionen zu aktualisieren, da sie (ziemlich schnell) herauskommen. Wenn Sie dies tun, stellen Sie entweder sicher, dass vorherige
tgz
Dateien gelöscht wurden, oder ändern Sie den obigen Befehltar
, um auf eine bestimmte Datei zu verweisen (d. H. Keine*
Wildcards wie oben).
- Stellen Sie Ihren
SPARK_HOME
-/opt/spark
- Download die neueste vorgebaute
spark-2.2.1-bin-hadoop2.7.tgz
binär dh -wget
- Erstellen Sie die symbolischer Link zur letzten Download verwenden -
ln -s /opt/spark-2.2.1 /opt/spark̀
Für jede neue Version, die Sie herunterladen, erstellen Sie einfach t er Symlink, um es (Schritt 3)
ln -s /opt/spark-x.x.x /opt/spark̀
- 1. Migrieren auf eine neuere Version von PHP
- 2. Wie aktualisiere ich cuDNN auf eine neuere Version?
- 3. Verschieben von Oracle-Schemas auf neuere Version
- 4. Plugin zu alt ist, aktualisieren Sie auf eine neuere Version
- 5. Wie lodash auf die neueste Version aktualisiert werden
- 6. Wie werden Gradle-Abhängigkeiten auf ihre neueste Version aktualisiert?
- 7. Kann nicht aktualisiert werden Firefox auf Centos
- 8. Finden Sie heraus, das erste Mal die App zu öffnen, wenn auf neuere Version aktualisiert
- 9. Kann eine C/C++ - Linux-Shared-Library automatisch aktualisiert werden, indem ihre eigene Datei auf dem Datenträger in eine neuere Version überschrieben wird?
- 10. Yum Downgrade, wenn die neuere Version eine zusätzliche RPM hat
- 11. So erhalten Sie eine neuere Version von Ruby in Edelsteinumgebung
- 12. Projekte von einer älteren Version von TeamCity Server auf eine neuere Version verschieben
- 13. Unterstützung für neuere Version des Browsers
- 14. Composer neuere Version von PHP zu verwenden
- 15. Gibt es eine neuere Version als Xcode 3.1.2?
- 16. neuere Version von Bündler mit bundler
- 17. Wie kann die Android In-App-Abrechnung auf die neueste Version aktualisiert werden?
- 18. Wie kann Spark RDD zwischen zwei Spark-Kontexten geteilt werden?
- 19. Wie kann ein Maximalwert automatisch aktualisiert werden?
- 20. SASS kann nicht auf 3.4 aktualisiert werden
- 21. Wie UITableView in Registerkartenschnittstelle aktualisiert werden kann
- 22. eine neuere Version eines Objekts von einer älteren Version des Objekts Deserialisieren
- 23. Kann ich Xcode-Upgrade eine neuere Version von GCC zu unterstützen C++ 0x zu lernen?
- 24. Verwenden der Attask API, wie kann eine Aufgabe aktualisiert werden
- 25. Wie man eine Maven-Abhängigkeit ausschließt, wenn im übergeordneten Projekt eine neuere Version davon existiert
- 26. Wie kann Android's Home Launcher aktualisiert werden?
- 27. Wie kann ich wissen, welche Pakete mit einer composer.json-Datei auf eine neue Version aktualisiert werden können?
- 28. Kann ich eine neuere Version von Jackson als in Websphere 8.0 gebündelt verwenden?
- 29. Nuget kann keine neuere Abhängigkeit finden
- 30. QtCreator-Debugger kann nicht gestartet werden, seit XCode auf Version 6 aktualisiert wurde
Aber ich kann nicht den laufenden Job, wie ein Hadoop Rollen sparen Upgrade richtig? – ribamar