Ich versuche, einen Apache-Funke-Cluster auf einem Hadoop-Cluster zu installieren.Installieren eines Funke-Clusters auf einem Hadoop-Cluster
Ich bin auf der Suche nach Best Pracises in dieser Hinsicht. Ich gehe davon aus, dass der Funken-Master auf der gleichen Maschine wie der Hadoop-Namenknoten und die Funken-Slaves auf den Hadoop-Datenknoten installiert werden müssen. Wo muss ich auch scala installieren? Bitte beraten.
Wenn Ihr Hadoop-Cluster YARN ausführt, verwenden Sie den Garnmodus, um Ihre Anwendungen zu senden. Das ist die einfachste Methode, ohne dass Sie etwas installieren müssen, das über den Download der Apache Spark-Distribution auf einen Client-Rechner hinausgeht. Sie können außerdem die Spark-Assembly in HDFS bereitstellen, sodass Sie beim Aufruf von Spark-submit die Konfiguration spark.yarn.jar verwenden können, sodass die JAR auf den Knoten zwischengespeichert wird.
Sehen Sie hier für all Details: http://spark.apache.org/docs/latest/running-on-yarn.html
gut klingt, ich habe den letzten Funken Binärdistribution entpackt und lief diesen Befehl /opt/spark-1.6.1/sbin/start-all.sh, aber sind immer ein Fehler: –
Konnte Spark-Baugruppe in /opt/spark-1.6.1/assembly/target/scala-2.10 nicht finden. test205: Sie müssen Spark vor dem Ausführen dieses Programms erstellen. –
Ich bekomme jetzt: test205: konnte nicht starten org.apache.spark.deploy.worker.Worker: auf dem Slave-Logfile zeigt: [hadoop @ test205 ~] $ tail -f /opt/spark-1.6.1-bin- ohne-hadoop/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-test205.kartikv.com.out bei java.lang.Class.getMethod0 (Class.java:3018) bei Java .lang.Class.getMethod (Class.java:1784) bei sun.launcher.LauncherHelper.validateMainClass (LauncherHelper.java:544) bei sun.launcher.LauncherHelper.checkAndLoadMain (LauncherHelper.java:526) verursacht durch: java .lang.ClassNotFoundException: org.slf4j.Logger –