Was ist der Unterschied zwischen YARN und Hive2-Warteschlangen?

Question

Was ist der Unterschied zwischen yarn.scheduler.capacity.root.queues und hive.server2.tez.default.queues?

Answer 1

Kurz: (wenn nicht andere scheduler Wenn Kapazitäts Scheduler in GARN, konfiguriert) Werte

hive.server2.tez.default.queues Werte sind Teilmenge von yarn.scheduler.capacity.root.queues.

---

Detaillierte Antwort:

hive.server2.tez.default.queues: (Standard: leer)

Eine Liste von getrennten Werten Komma entsprechende YARN Warteschlangen des gleichen Namens. Wenn HiveServer2 im Tez-Modus gestartet wird, muss diese -Konfiguration so eingestellt werden, dass mehrere Tez-Sitzungen parallel im Cluster unter ausgeführt werden.

Diese bedeutet nicht, dass Abfragen nicht für andere "existierende" Warteschlange im Kapazitätsplaner definiert werden können. source

---

yarn.scheduler.capacity.root.queues:

Die CapacityScheduler hat eine vordefinierte Warteschlange Wurzel bezeichnet. Alle Warteschlangen im System sind untergeordnete Elemente der Stammwarteschlange . Weitere Warteschlangen können eingerichtet werden, indem yarn.scheduler.capacity.root.queues mit einer Liste kommagetrennter untergeordneter Warteschlangen konfiguriert wird. source, setting up capacity scheduler

So ist der Umfang von bis zu hive.server2.tez.default.queues Hive Abfragen nur, aber yarn.scheduler.capacity.root.queues Umfang wird für alle Komponenten (wie MapReduce und Funken) im Cluster sein, das GARN als Resource Manager verwenden.