Ich benutze Funken, um einige Berechnungen durchzuführen, aber wollen, dass es von Java-Anwendung eingereicht wird. Es funktioniert ordnungsgemäß mit, wenn mit Funken übergeben Skript übergeben. Hat jemand versucht, dies zu tun?Wie funken Job von innerhalb Java-Programm auf Standalone-Funke-Cluster ohne Verwendung von Spark-Submit?
Danke.
Vergessen Sie nicht, das fette JAR, das Ihren Code enthält, in den Kontext einzufügen.
Solange Sie einen Master und verfügbar Arbeiter begonnen haben, sollten Sie in der Lage sein, wenn Sie die folgenden in Ihrer Java-Anwendung haben:
String master = "spark://IP:7077"; //set IP address to that of your master
String appName = "Name of your Application Here";
SparkConf conf = new SparkConf().setAppName(appName).setMaster(master);;
JavaSparkContext sc = new JavaSparkContext(conf);
konnte ich JUnit-Tests aus IntelliJ, die genutzt laufen JavaSparkContext, ohne das Spark-Submit-Skript verwenden zu müssen. Beim Ausführen von Aktionen auf Datenrahmen stößt ich jedoch auf Probleme (nicht sicher, ob das zusammenhängt).
Ich habe die gleiche Sache gemacht, aber kein Glück. @insomniak –
Für mich funktionierte es bei der Bereitstellung dieser Optionen: -Dspark.driver.host = -Dspark.driver.port = 50000 –
Kann ich bitte einen Java-Code, um eine Funke-Anwendung ausführen. – Nandakishore