Zugriff auf eine Datendatei von der aktuellen Livysitzung

Question

Ich habe einen Spark-Cluster auf Hadoop im YARN-Modus ausgeführt. Ich habe den Livy-Server so konfiguriert, dass er mit dem Spark-Cluster interagiert und Client-Spark-Jobs übermittelt. Ich habe eine Datendatei zusammen mit dem Jar aus dem Java-Programm in Livy hochgeladen, die im .livySessions-Ordner in HDFS hochgeladen wird.

LivyClient client = new LivyClientBuilder(true).setURI(new URI("http://191.111.123.11:8998")).build(); 
client.uploadFile(new File("/C:/HAL/kmeans_data.txt")).get(); 
Object str = client.uploadJar(new File("/C:/Users/msingh/livy-spring-app-1.3.6.RELEASE.jar")).get(); 

Wie soll ich mein Programm konfigurieren, um die Datendatei von der aktuellen Livy-Sitzung zur Ausführung zu lesen.

Answer 1

Sie könnten SparkFiles.get() verwenden, die diese Dateien aus Ihrem Funke-Job abrufen. Versuch es und lass es mich wissen.