Unable Sitzung jar über Livius Client livy

Question

-Code laden:

LivyClient client = null; 
try 
{ 
    String livyUrl = "http://dummy16814.zycus.net:8998"; 
    client = new LivyClientBuilder().setURI(new URI(livyUrl)).build(); 

    String piJar = "E:\\livy_old.jar"; 
    System.err.printf("Uploading %s to the Spark context...\n", piJar); 
    client.uploadJar(new File(piJar)).get(); 

    int samples = 10; 
    System.err.printf("Running PiJob with %d samples...\n", samples); 

    double pi = client.submit(new PiJob()).get(); 
    System.out.println("Pi is roughly: " + pi); 
} 
finally 
{ 
    client.stop(true); 
} 

Erste unten Ausnahme während jar

Hochladen von E Hochladen: \ livy_old.jar zum Spark Kontext ... Ausnahme in Thread "main" java.util.concurrent.ExecutionException: java.io.IOException: Fehlerhafte Anforderung: "Anforderung fehlgeschlagen: Lokaler Pfad /root/.livy-sessions/61a5e39c-d199-4bb8-967b-960b4e3e9ee3/livy_old. jar kann nicht zu Benutzersitzungen hinzugefügt werden. " unter java.util.concurrent.FutureTask.report (FutureTask.java:122) um java.util.concurrent.FutureTask.get (FutureTask.java:192) um com.zycus.spark.PiJob.main (PiJob. java: 64) Erstellt von: java.io.IOException: Ungültige Anforderung: "Anforderung fehlgeschlagen: Lokaler Pfad /root/.livy-sessions/61a5e39c-d199-4bb8-967b-960b4e3e9ee3/livy_old.jar kann nicht hinzugefügt werden Benutzersitzungen. " bei com.cloudera.livy.client.http.LivyConnection.sendRequest (LivyConnection.java:197) bei com.cloudera.livy.client.http.LivyConnection.post (LivyConnection.java:162) bei com. cloudera.livy.client.http.HttpClient $ 2.call (HttpClient.java:155) um com.cloudera.livy.client.http.HttpClient $ 2.call (HttpClient.java:152) bei java.util.concurrent .FutureTask.run (FutureTask.java:266) bei java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.access 201 $ (ScheduledThreadPoolExecutor.java:180) bei java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.run (ScheduledThreadPoolExecutor.java : 293) bei java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1142) bei java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:617) bei java.lang.Thread.run (Thread. java: 745)

Answer 1

spark.master yarn-cluster zum Funkenkonfigurationsdatei in meinem Fall hinzufügen es spark-defaults.conf ist.

Fügen Sie diesen Eintrag allen Knoten im Cluster hinzu.

Answer 2

standardmäßig Livius erlaubt keine lokale Datei Benutzersitzung angebracht werden: https://groups.google.com/a/cloudera.org/forum/#!topic/livy-user/mm-XEhANDHU ich dieses Problem gelöst, indem Sie den lokalen Pfad in Livius-Server-0.3.0 Angabe/conf/livy.conf:

Livius .file.local-dir-Whitelist =/root/.livy-Sessions/

Dies sollte in ihrer Dokumentation erwähnt wurden