2015-11-24 11 views

Antwort

13

Vorgefertigte Spark-Distributionen, wie die, die ich glaube, basierend auf another question of yours, sind ziemlich einfach zu "upgraden", da Spark nicht wirklich "installiert" ist. Eigentlich alles, was Sie tun müssen, ist:

  • Download der entsprechenden Funken Distro (vorgefertigte für Hadoop 2.6 und später in Ihrem Fall)
  • Entpacken Sie die TAR-Datei in dem entsprechenden Verzeichnis (iewhere Ordner spark-1.3.1-bin-hadoop2.6 schon ist)
  • aktualisieren Sie Ihre SPARK_HOME (und möglicherweise einige andere Variablen-Umgebung auf Ihrem Setup abhängig) entsprechend

Hier ist, was ich gerade tat, von 1.3.1 bis 1.5.2 zu gehen, in einer Umgebung, ähnlich wie bei Ihnen (Landstreicher VM Ubuntu):

1) in dem entsprechenden Verzeichnis

[email protected]:~$ cd $SPARK_HOME 
[email protected]:/usr/local/bin/spark-1.3.1-bin-hadoop2.6$ cd .. 
[email protected]:/usr/local/bin$ ls 
ipcluster  ipcontroller2 iptest ipython2 spark-1.3.1-bin-hadoop2.6 
ipcluster2 ipengine  iptest2 jsonschema 
ipcontroller ipengine2  ipython pygmentize 
[email protected]:/usr/local/bin$ sudo wget http://apache.tsl.gr/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz 
[...] 
[email protected]:/usr/local/bin$ ls 
ipcluster  ipcontroller2 iptest ipython2 spark-1.3.1-bin-hadoop2.6 
ipcluster2 ipengine  iptest2 jsonschema spark-1.5.2-bin-hadoop2.6.tgz 
ipcontroller ipengine2  ipython pygmentize 

Hinweis die TAR-Datei herunterladen, die der genaue Spiegel Sie mit wget wird wahrscheinlich anders als meine, abhängig von Ihrem Standort verwendet werden sollen; Sie erhalten dies, indem Sie auf den Link "Download Spark" in der download page klicken, nachdem Sie den Pakettyp zum Herunterladen ausgewählt haben.

2) Entpacken Sie die Datei mit tgz

[email protected]:/usr/local/bin$ sudo tar -xzf spark-1.*.tgz 
[email protected]:/usr/local/bin$ ls 
ipcluster  ipcontroller2 iptest ipython2 spark-1.3.1-bin-hadoop2.6 
ipcluster2 ipengine  iptest2 jsonschema spark-1.5.2-bin-hadoop2.6 
ipcontroller ipengine2  ipython pygmentize spark-1.5.2-bin-hadoop2.6.tgz 

können Sie sehen, dass Sie jetzt einen neuen Ordner haben, spark-1.5.2-bin-hadoop2.6.

3) Aktualisieren Sie entsprechend SPARK_HOME (und möglicherweise andere Umgebungsvariablen, die Sie verwenden), um auf dieses neue Verzeichnis anstatt auf das vorherige zu verweisen.

Und Sie sollten fertig sein, nach dem Neustart Ihrer Maschine.

Beachten Sie, dass:

  1. Sie brauchen nicht die vorherigen Zündverteiler zu entfernen, solange alle relevanten Umgebungsvariablen auf den neuen Punkt. Auf diese Weise können Sie sogar schnell zwischen der alten und der neuen Version hin- und herwechseln, falls Sie Dinge testen möchten (d. H. Sie müssen lediglich die relevanten Umgebungsvariablen ändern).
  2. sudo war in meinem Fall notwendig; Je nach Ihren Einstellungen ist es möglicherweise unnötig für Sie.
  3. Nachdem sichergestellt wurde, dass alles einwandfrei funktioniert, empfiehlt es sich, die heruntergeladene Datei tgz zu löschen.
  4. Sie können das gleiche Verfahren verwenden, um auf zukünftige Spark-Versionen zu aktualisieren, da sie (ziemlich schnell) herauskommen. Wenn Sie dies tun, stellen Sie entweder sicher, dass vorherige tgz Dateien gelöscht wurden, oder ändern Sie den obigen Befehl tar, um auf eine bestimmte Datei zu verweisen (d. H. Keine * Wildcards wie oben).
+0

Aber ich kann nicht den laufenden Job, wie ein Hadoop Rollen sparen Upgrade richtig? – ribamar

0
  1. Stellen Sie Ihren SPARK_HOME-/opt/spark
  2. Download die neueste vorgebaute spark-2.2.1-bin-hadoop2.7.tgz binär dh - wget
  3. Erstellen Sie die symbolischer Link zur letzten Download verwenden - ln -s /opt/spark-2.2.1 /opt/spark̀

Für jede neue Version, die Sie herunterladen, erstellen Sie einfach t er Symlink, um es (Schritt 3)

  • ln -s /opt/spark-x.x.x /opt/spark̀
Verwandte Themen