So begrenzen Sie die Ressourcenauslastung eines Jobs in YARN

Question

Ich erinnere mich, dass einige aktuelle Versionen von YARN über einen Konfigurationsparameter verfügen, der die Speichermenge (oder Kerne) steuert, die ein Job verwenden kann. Ich habe versucht, es aus dem Web zu finden, aber ich konnte es noch nicht. Wenn Sie den Parameter kennen, lassen Sie es mich wissen.

Ich weiß, ein Weg, dies zu tun ist, eine Art Scheduler zu verwenden, aber für jetzt brauche ich eine Job-Level-Kontrolle, so dass der Job das gesamte System nicht missbraucht.

Danke!

Answer 1

Sie können die maximale und minimale Ressource steuern, die jedem Container zugewiesen wird.

• yarn.scheduler.minimum-allocation-mb: Minimum Speicherzuordnung für jeden Behälter
• yarn.scheduler.maximum-allocation-mb: Maximum Speicherzuordnung für jeden Behälter
• yarn.scheduler.minimum-allocation-vcores: Mindestkernzuweisung für jeden Behälter
• yarn.scheduler.maximum-allocation-vcores: maximale Kernzuweisung für jeden Behälter

Wenn Sie Missbrauch von Benutzerjobs vermeiden möchten, kann yarn.scheduler.maximum-allocation-* solu sein weil RM die Anfrage ablehnt, die über diese Einschränkung hinausgeht, indem InvalidResourceRequestException geworfen wird.

Ref: yarn-default.xml