Abrufen von App-ID für einen Spark-Job

Question

Ich möchte, wo ich einen Spark-Job ausführen, um die eindeutige ID dieses Jobs zu erhalten.

Über die Spark-Master-Knoten-Website kann ich diese ID sehen. Es ist so etwas wie:

ID: app-20140429125304-0452 

Gibt es eine Möglichkeit, dies zu erhalten, wenn eine Auftragserstellung ausgeführt wird? Vielleicht über den SparkContext?

Answer 1

ja, genau wie Sie gesagt haben:

sc.applicationId 
res0: String = app-20150224184813-11531 

API doc (Diese 1.2 funken ist) Siehe bei

• https://spark.apache.org/docs/1.6.1/api/scala/index.html#org.apache.spark.SparkContext

Answer 2

diejenigen Für pyspark verwenden, Siehe diese fast identische Frage: How to extract application ID from the PySpark context

Die Antwort von @vvladymyrov funktionierte für mich mit dem Betrieb von Pyspark im Garn-Client-Modus.

>>> sc._jsc.sc().applicationId() 
u'application_1433865536131_34483' 

Answer 3

Mit der Einführung des spark: org.apache.spark.sql.SparkSession Spark 2.0+ auf den Einsatz

scala> spark.sparkContext.applicationId 
res1: String = app-20170228091742-0025 

Answer 4

Es hängt davon ab, welche Sprache Sie verwenden.

Scala

https://spark.apache.org/docs/1.6.1/api/scala/index.html#org.apache.spark.SparkContext

sc.applicationId 

Java

https://spark.apache.org/docs/1.6.2/api/java/org/apache/spark/api/java/JavaSparkContext.html

sparkContext.sc().applicationId(); 

Python

http://spark.apache.org/docs/1.6.2/api/python/pyspark.html#pyspark.SparkContext

sc.applicationId 

Es kann auch von Spark-Version.