.sparkstaging-Verzeichnis in hdfs ist nicht gelöscht

Question

Wir laufen bestimmte Funken Jobs und wir sehen .sparkstaging Regie in hdfs persistent nach dem Job Abschluss. Gibt es einen Parameter, den wir festlegen müssen, um das Staging-Verzeichnis nach Abschluss des Jobs zu löschen?

spark.yarn.preserve.staging.files ist standardmäßig falsch und daher haben wir es nicht explizit festgelegt. wir laufen Funken auf Garn Hortonworks und Funken Version 1.2

Grüße, Manju

Answer 1

Bitte überprüfen Sie die folgenden Protokollereignisse in der Jobabschlusskonsolenausgabe mit mehr Einblick in das bekommen, was los ist:

1. ApplicationMaster: Deleting staging directory .sparkStaging/application_xxxxxx_xxxx - dies bedeutet, dass die Anwendung in der Lage war
das Staging-Verzeichnis erfolgreich aufzuräumen
2. ApplicationMaster: Staging directory is null - das bedeutet, dass die Anwendung nicht in der Lage war, die Inszenierung dir für th zu finden Anwendung ist
3. ApplicationMaster: Failed to cleanup staging dir .sparkStaging/application_xxxxxx_xxxx - das bedeutet, etwas falsch ging das Staging-Verzeichnis zu löschen

Könnten Sie verdoppeln diese Eigenschaften auch im Cluster überprüfen, die das Szenario beeinflussen können Sie erwähnt haben: spark.yarn.preserve.staging.files und diese SPARK_YARN_STAGING_DIR.