Apache Spark-Implementierung

Question

Ich habe viel versucht, die beste Lösung zu Apache Funke in meiner Web-Anwendung in Java mit Struts2 Framework zu implementieren.

Ich habe wenige Maschinen, um es für Fahrer und Arbeiter zu verwenden.

Ich habe eine Web-Anwendung, die verdammt viel DB-Betrieb tun, und ich möchte, dass es durch Funken mit hdfs getan wird.

Ich bin in der Lage, Funke auf ein einzelnes eigenständiges Java-Projekt auf lokaler, aber ich möchte es als Cluster verwenden.

Ich lese so viele Threads und Informationen im Web, aber ich bin nicht in der Lage, den Weg zu finden, um es auf Cluster zu implementieren, so dass jede große Verarbeitung, die von meiner Anwendung erforderlich ist, von Spark durchgeführt wird.

Ich bin nicht in einem Zustand der bezahlten Dienstleistungen wie cloudera oder amazon Service ...

Answer 1

Hier zu verwenden ist ein Schritt-für-Schritt-Anleitung für die Installation von Spark in Master und Slave. Es ist ziemlich umfangreich:

http://data-flair.training/blogs/install-deploy-run-spark-2-x-multi-node-cluster-step-by-step-guide/

Wenn dies gelingt, sollten Sie in der Lage sein, einen Funken-ui auf dem Master zu sehen, die den gesamten Cluster zeigen. Zugegeben, das Setup ist ein langwieriger Prozess, Ich selbst habe den Prozess durchlaufen, also wenn Sie irgendwelche spezifischen Fragen haben, zögern Sie nicht zu fragen.

Verwenden Sie das spark-submit Skript Ihre Anwendungen einmal getan zu starten:

./bin/spark-submit \ 
    --class <main-class> \ 
    --master <master-url> \ 
    --deploy-mode <deploy-mode> \ 
    --conf <key>=<value> \ 
    ... # other options 
    <application-jar> \ 
    [application-arguments] 

Achten Sie auf die Master-URL geben Ihre Anwendung im Cluster-Modus anstelle von lokalen [*] usw.