Einrichten Apache Spark mit Garn-Cluster

Question

Ich möchte Garn mit Apache Spark integrieren. Ich habe Spark, Jdk und Scala auf meinem PC installiert. Meine Daten werden in der Cassandra-Datenbank gespeichert. Ich habe auch einen anderen Server für den Slave erstellt.

Spark-Version - 2.1.0 Scala Version - 2.9.2 Master (Mein PC) (IP:.. 192 .01) Slave-Server (.. IP: 192 .02)

Spark und Scala auch auf meinem Slave-Server installiert. Muss ich etwas mehr auf Master oder Slave installieren? Wenn alles installiert ist, was sollte ich tun Konfiguration für die Integration von YARN mit Funken.

Eigentlich erstelle ich ein Word-Count-Programm mit Cluster-Manager (YARN). Mein Ziel ist es, YARN in meiner Anwendung zu verwenden. Sie können mir dafür einen weiteren Vorschlag machen. Bitte helfen ..

Answer 1

• Sie benötigen Hadoop 2x zu installieren Garn incorporated.Here haben, ist die link.
• Als nächster Start Funke mit Garn im Cluster-Modus $ ./bin/spark-submit --class path.to.your.Class --master yarn --deploy-mode cluster [options] <app jar> [app options] .Sie here

beziehen