2017-07-10 10 views
1

Ich bin ein Funke Standalone Cluster, in dem ich 3 Knoten habe. Einer ist Meister und die anderen zwei sind Arbeiter. Ich kopierte den Job in allen drei Knoten an der Position /home/bizruntime/***.jar in allen dreien und wenn ich den Job über Spark-Submit in Master übergeben, wird der Job ausgeführt.Spark Launcher kann Funke Job nicht auslösen?

Aber mein Cluster befindet sich am Remote-Standort und ich kann nicht jedes Mal auf Master-Terminal zugreifen. Also denke ich an Spark Launcher, um den Job von meinem Laptop, der eine Windows-Maschine ist, auszulösen. Aber wenn ich mein Spark-Launcher-Programm in Eclipse in meinem Laptop starte, startet es einen Treiber, den ich in Spark UI sehen kann, aber dann gibt es einen Fehler. Wenn ich den Fehler im Log prüfe, weil ich jar in Knoten nicht finde.

Der Pfad, den ich in AppResource() -Funktion Spark-Launcher gibt, ist /home/bizruntime/***.jar dies. Aber sie suchen das Glas in $ Eclipse_Worksapce/home/bizruntime/***. Jar

Meine Frage ist, wie absolute Weg zu geben, ohne $ Eclipse_Worksapce.

package com.biz.Remote_Start; 

import java.io.IOException; 

import org.apache.spark.launcher.SparkAppHandle; 
import org.apache.spark.launcher.SparkLauncher; 

/** 
* Hello world! 
* 
*/ 
public class App { 
    public static void main(String[] args) { 

    try { 
     Process handle = new SparkLauncher() 
      .setAppResource("home/bizruntime/Read_from_ADL-0.0.1-SNAPSHOT.jar") 
      .setMainClass("com.biz.Read_from_ADL.App") 
      .setMaster("spark://192.168.1.154:7077") 
      .setDeployMode("cluster") 
      .launch(); 

     handle.waitFor(); 
    } catch (Exception e) { 

     System.out.println(e.getMessage()); 
    } 

    } 
} 

enter image description here

+0

aus Bei jeder weiteren Erkundung sehe ich einen Tippfehler in Ihrem Code. ho ** M ** e oder ho ** N ** e? – Trompa

+0

Sein Zuhause @Trompa –

+0

Ich legte ... Sie sehen, dass auf dem Screenshot seine Honne auch, oder? – Trompa

Antwort

0

Incase JAR-Datei in dem lokalen Dateisystem vorhanden ist, bitte den Standort wie Datei angeben: ///home/bizruntime/Read_from_ADL-0.0.1-SNAPSHOT.jar

Verwandte Themen