2017-06-12 4 views
1

Ich habe einen Cluster mit Cloudera 5.10. Für Profilierung Ich laufe mit Parametern Funken einreichen:Profiling Spark-Anwendung mit YourKit

--conf "spark.driver.extraJavaOptions= -agentpath:/root/yjp-2017.02/bin/linux-x86-64/libyjpagent.so=sampling" 
--conf "spark.executor.extraJavaOptions= -agentpath:/root/yjp-2017.02/bin/linux-x86-64/libyjpagent.so=sampling" 

Und es funktioniert für Fahrer nur gut. Wenn ich diese Option bin mit für Testamentsvollstrecker ich erhalte die Ausnahme

Stack trace: ExitCodeException exitCode=1: 
     at org.apache.hadoop.util.Shell.runCommand(Shell.java:601) 
     at org.apache.hadoop.util.Shell.run(Shell.java:504) 
     at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:786) 
     at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:213) 
     at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302) 
     at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82) 
     at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
     at java.lang.Thread.run(Thread.java:748) 

Ich konnte keine nützlichen Protokolle finden und die gleiche Ausnahme Ich habe auf jedem Knoten bekommt. Das gleiche, wenn Ich bin dieses Handbuch enter link description here

mit Und wenn ich nur Konfiguration für Fahrer verlassen, alles funktioniert gut, und ich kann YourKit dem Fahrer zu verbinden verwenden Was das Problem sein kann?

+0

Behoben. Es war ein Berechtigungsproblem mit dem/root-Ordner –

Antwort

1

Kann ein Executor 32-Bit-JVM starten? Also sollte Pfad zu 32-Bit-YourKit-Agent angegeben werden?