was „spark.history.retainedApplications“ zeigt auf

Wie pro Apache-doc „http://spark.apache.org/docs/latest/monitoring.html“was „spark.history.retainedApplications“ zeigt auf

spark.history.retainedApplications Punkte „Die Zahl der Anwendung UIs zu behalten. Wenn diese Kappe überschritten, so wird der älteste Anwendungen werden entfernt "

Aber ich sehe mehr als nur Apps in der Benutzeroberfläche konfiguriert. Ist es korrekt oder speichert es diese vielen Apps nur im Speicher oder lädt sie bei Bedarf wieder in den Speicher. Bitte klären Sie. Thx

Quelle

2016-05-09 neeraj

Haben Sie diesen Wert auf etwas anderes als den Standardwert festgelegt? –

Ich habe es auf 100 gesetzt, aber ich sehe 200 + Anwendung auf der Benutzeroberfläche angezeigt, mit Ausnahme der unvollständigen – neeraj

Diese Einstellung gilt speziell für den Verlaufsserver. Wenn Sie nicht gestartet haben (es wird normalerweise mit YARN und Mesos verwendet, glaube ich), dann ist die Einstellung, die Sie suchen, spark.ui.retainedJobs. Überprüfen Sie die Spark UI configuration parameters für weitere Details.

Diese Einstellungen gelten nur für Jobs. Um sie an den Master selbst zu übergeben, überprüfen Sie die Optionen im stand-alone deployment section. Sie können sie über die Umgebungsvariable SPARK_MASTER_OPTS einstellen.

Wenn Sie die von Arbeitern erstellten Datendateien bereinigen möchten, überprüfen Sie die Optionen spark.worker.cleanup im selben Abschnitt. Sie können sie über die Umgebungsvariable SPARK_WORKER_OPTS für Ihre Mitarbeiter festlegen.

Quelle

2016-05-09 17:41:12

Danke Marius. Außerdem gibt es eine Eigenschaft, die ich festlegen kann, die steuert, wie viele Anwendungsprotokolle in den hdfs für spark gespeichert werden sollen. Wenn ich 200 definiere, sollte es automatisch ältere löschen und nur 200 an jedem gegebenen Punkt beibehalten. – neeraj

Schön, nur eine Bestätigung. Es funktioniert mit Garn, oder? In Apache-Dokument (http://spark.apache.org/docs/latest/spark-standalone.html) wird erwähnt, dass dies nur im Standalone-Modus funktioniert, nicht Garn. spark.worker.cleanup.enabled \t false \t Aktivieren Sie die regelmäßige Bereinigung von Worker-/Anwendungsverzeichnissen. Beachten Sie, dass dies nur den Standalone-Modus betrifft, da YARN anders funktioniert. – neeraj

Ja, das ist spezifisch für Stand-Alone, für YARN Cleanup Ich denke, Sie sollten auf die YARN-Dokumente verweisen. –

was „spark.history.retainedApplications“ zeigt auf

Antwort

Verwandte Themen