Spark-Shell-Verbrauch Garn Ressourcen, wie man das zu stoppen

Question

Hier ist mein Problem, jetzt, wenn ich benutze die Spark Shell, würde es viele Ressourcen verbrauchen und vielleicht halten sie begrenzt/gehalten; durch Beeinflussung anderer parallel laufender Anwendungen.

sagen wir zum Beispiel, ich bin einige Spark-Shell-Befehle ausführen und versehentlich verlassen die Shell geöffnet und nicht die Sitzung zu schließen, alle Ressourcen gehalten wird, und alle anderen Benutzer haben nichts zu arbeiten, wenn ich schließe Meine Sitzung

So beheben Sie dieses Problem aus Garn Perspektive.

Answer 1

Sie können die Verwendung von Ressourcenpools für Yarn in Cloudera festlegen. Sie können jedem Benutzer einige Ressourcen zuweisen. Selbst wenn Sie alle Ihre Ressourcen verwenden, werden einige für andere Benutzer verfügbar sein.

Wenn Sie Garnressourcen nicht zwischen Benutzern teilen möchten. Sie können festlegen, dass SPARK die dynamische Zuweisung verwendet (überprüfen Sie die Eigenschaft spark.dynamicAllocation.enabled in http://spark.apache.org/docs/latest/configuration.html). Wenn Sie also Ihre Funkenschale geöffnet lassen und Ihre Arbeit beendet ist, wird Funke die Ressource an Yarn zurückgeben. Aber man kann nicht die Anzahl der Testamentsvollstrecker eingestellt, während die dynamische Zuordnung mit

Grüße, Arnaud