Wie können Knoten vom Spark-Cluster-Job ausgeschlossen werden?

Question

Ich habe einen Job in PySpark, der sci-kit learn 0.16.1 verwendet. Die Clusterverwaltung hat kürzlich eine Reihe von Knoten hinzugefügt, die sci-kit learn 0.17.1 verwenden, und die API für ein Objekt wurde geändert. Das notwendige Upgrade oder Downgrade wird eine Weile dauern, also schaue ich, wie man bestimmte Knoten ausschließt, während ich meinen Job einreiche. Ist das möglich und wenn ja, wo soll ich es machen? Auf YARN oder in der Funkensendeaktion?

Answer 1

Überprüfen Sie gain-site.xml, wo Sie Knoten konfigurieren können, die in den Garncluster aufgenommen oder ausgeschlossen werden sollen. ZB in https://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-common/yarn-default.xml überprüfen Sie die Eigenschaften "yarn.resourcemanager.nodes.include-path" und "yarn.resourcemanager.nodes.exclude-path".