Einführung Funken Master windows7

Mit win7-64, jdk8, sparks1.6.2. Ich habe Funken laufen, winutils, HADOOP_HOME, usw.Einführung Funken Master windows7

Per Dokumentation Hinweis: Die Start-Skripte unterstützen derzeit Windows nicht. Um einen Spark-Cluster unter Windows zu starten, starten Sie den Master und die Worker per Hand. Aber sagt nicht wie?

Wie starte ich Funken Master auf Windows?

Versuchte sh start-master.sh durch git bash ausgeführt wird: failed to launch org.apache.spark.deploy.master.Master: Auch wenn es --port 7077 --webui-Port 8080 --ip Sam-Toshiba Meister ausdruckt - Also ich weiß nicht, was alle das heisst. Aber wenn ich spark-submit --class " " --master spark://Sam-Toshiba:7077 target/ .jar versuchen - ich Fehler erhalten: AbstractLifeCycle WARNEN: failed [email protected]: 4040: java.net.BindException: Adresse bereits in Gebrauch: bind java.net.BindException: Adresse bereits in Gebrauch

WARN Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041. 17/01/12 14:44:29 WARN AppClient$ClientEndpoint: Failed to connect to master Sam-Toshiba:7077 java.io.IOException: Failed to connect to Sam-Toshiba/192.168.137.1:7077 at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:216)

auch versucht Funke: // localhost: 7077 - gleicher Fehler

Quelle

2017-01-12 Sam-T

unter Windows Sie Meister mit folgendem Befehl starten. Öffnen Sie die Eingabeaufforderung und gehen Sie zu Binärordner Funken und

spark-class.cmd org.apache.spark.deploy.master.Master

Obiger Befehl ausführen wie Master: Starting Spark master at spark://192.168.99.1:7077 in der Konsole per IP Ihrer Maschine gedruckt werden. Sie können die Benutzeroberfläche unter http://192.168.99.1:8080/

überprüfen Wenn Sie Arbeiter starten möchten, sobald Ihr Master ist, können Sie unten Befehl verwenden. Dadurch werden alle verfügbaren Kerne Ihrer Maschine verwendet.

spark-class.cmd org.apache.spark.deploy.worker.Worker spark://192.168.99.1:7077

Wenn Sie 2 Adern Ihrer 4 Kerne von Maschine verwenden, dann verwenden

spark-class.cmd org.apache.spark.deploy.worker.Worker -c 2 spark://192.168.99.1:7077

Quelle

2017-01-13 05:36:55 abaghel

Ich kann den Master erfolgreich starten, aber nicht in der Lage zu verbinden. ': Sparkmaster bei funke starten: //192.168.137.1: 7077'. Wenn ich versuche, Verbindungs: '> Funken einreichen --Klasse "" --master Funke: //192.168.99.1: 7077 Ziel/~ .jar' WARN AppClient $ ClientEndpoint: Es konnte keine Verbindung 192.168.99.1:7077 zu meistern java.io.IOException: Fehler zu /192.168.99.1:7077 bei org.apache.spark.network.client.TransportClientFactory.createClient verbinden: java.net.ConnectException: Connection timed out: keine weiteren Angaben vor: Der derzeit aktive SparkContext wurde erstellt: (. keine aktiven SparkContext) –

Muss ich auch einen Arbeiter starten? –

Ihre Funken Master url ist Funke: //192.168.137.1: 7077, aber sie sind vorbei Funke: //192.168.99.1: 7077 auf Befehl funken einreichen. Bitte prüfe. – abaghel

Einführung Funken Master windows7

Antwort

Verwandte Themen