Wie verbinde ich Apache Spark mit Garn aus dem SparkContext?

Ich habe eine Spark-Anwendung in Java mit Eclipse entwickelt.
Bisher verwende ich den Standalone-Modus, indem ich die Adresse des Masters auf 'local [*]' konfiguriere.
Jetzt möchte ich diese Anwendung auf einem Yarn-Cluster bereitstellen.
Die einzige ich offizielle Dokumentation http://spark.apache.org/docs/latest/running-on-yarn.html auf einem Mesos Cluster oder im Standalone für die Bereitstellung von (http://spark.apache.org/docs/latest/running-on-mesos.html)Wie verbinde ich Apache Spark mit Garn aus dem SparkContext?

Anders als bei der Dokumentation ist, gibt es keine URL für die Adresse des Masters innerhalb SparkContext zu verwenden.
Anscheinend muss ich Line-Befehle verwenden, um Funke auf Yarn bereitzustellen.

Wissen Sie, ob es eine Möglichkeit gibt, die Adresse des Masters im SparkContext wie im Standalone- und Mesos-Modus zu konfigurieren?

Quelle

2016-12-07 Anonymous

Es ist tatsächlich eine URL.

Sicherstellen dass HADOOP_CONF_DIR oder YARN_CONF_DIR auf das Verzeichnis, das die (Client-Seite) Konfigurationsdateien für die Cluster-Hadoop enthält. Diese Konfigurationen werden verwendet, um HDFS zu schreiben und eine Verbindung zum GARN Resourcemanager

Sie haben sollte mindestens hdfs-site.xml, yarn-site.xml und core-site.xml Dateien, die alle Einstellungen angeben und URLs für die Hadoop-Cluster Sie verbinden.

Einige Eigenschaften von yarn-site.xml sind yarn.nodemanager.hostname und yarn.nodemanager.address.

Da die Adresse den Standardwert ${yarn.nodemanager.hostname}:0 hat, müssen Sie möglicherweise nur den Hostnamen festlegen.

Quelle

2016-12-07 15:53:09

Ich bin neu mit dieser Art von Einstellungen, vielleicht ist meine Frage dumm. Entsprechen diese XML-Dateien ** HADOOP_CONF_DIR ** und ** YARN_CONF_DIR **? Weil ich nicht weiß, was sie sind. Außerdem muss ich die XML-Datei in meiner Java-Anwendung speichern, richtig? Und haben Sie ein Beispiel für diese Dateien? Schließlich, wie rufe ich diese XML-Datei in meinem Java-Code, um die Einstellungen für die Ausführung zu erhalten .. Sorry, wenn meine Fragen dumm scheinen –

Ich weiß nicht, wie Sie Hadoop installiert, aber wenn jemand anderes, sollten Sie rein Kontakt mit ihnen. Ja, Sie benötigen die XML-Dateien auf dem Clientcomputer, auf dem Spark ausgeführt wird. Sie müssen nicht direkt in der Java-App sein. Beispiele für diese Dateien finden Sie online, wenn Sie nach ihnen suchen, oder fragen Sie erneut die für den Hadoop-Cluster zuständige Person. –

Und diese beiden "Einstellungen" sind Umgebungsvariablen, die der Spark-Treiber aufnimmt. Die XML-Dateien befinden sich in diesen Ordnern. Außer "Mastergarn" sollte keine zusätzliche Konfiguration benötigt werden. –

Wie verbinde ich Apache Spark mit Garn aus dem SparkContext?

Antwort

Verwandte Themen