A previous question empfiehlt sc.applicationId, zu extrahieren, aber es ist nicht in PySpark, nur in scala.Wie Anwendungs-ID aus dem PySpark Kontext
Also, wie finde ich die Anwendungs-ID (für yarn) meines PySpark-Prozesses?
Sie Java SparkContext durch die Py4J RPC-Gateway-Objekt verwenden:
>>> sc._jsc.sc().applicationId()
u'application_1433865536131_34483'
Bitte beachten Sie, dass sc._jsc interne Variable und nicht der Teil der öffentlichen API - so gibt es (eher klein) Chance, dass es sein kann, in der Zukunft geändert.
Ich werde Pull-Anforderung senden, um öffentliche API-Aufruf dafür hinzuzufügen.
Bitte fügen Sie hier einen Link zu Ihrer Pull-Anfrage hinzu, damit wir dafür stimmen können. – sds
https://issues.apache.org/jira/browse/SPARK-8528 https://github.com/apache/spark/pull/6936 – vvladymyrov
Spark Team von PR akzeptiert - so sc.applicationID -Eigenschaft wird in Spark verfügbar sein 1.5.0 release – vvladymyrov
In Funken 1,6 (wahrscheinlich 1,5 nach @wladymyrov in Kommentar auf der anderen Antwort)
In [1]: sc.applicationId
Out[1]: u'local-1455827907865'
Ich bestätige, dass 'sc.applicationId' in Spark 1.5.2 verfügbar ist. –
https://spark.apache.org/docs/latest/api/python/pyspark.html#pyspark .SparkContext. Suche nach 'id() ' – ccheneson
@ccheneson: es gibt 3 Übereinstimmungen, alle für RDD. – sds