Ich habe verstanden, wie MRv1 funktioniert. Jetzt versuche ich MRv2 zu verstehen. Was ist der Unterschied zwischen Application Manager und Application Master in YARN?Unterschied zwischen Application Manager und Application Master in YARN?
Die Begriffe Application Master und Application Manager werden oft synonym verwendet. In Wirklichkeit ist Application Master der Hauptcontainer, der anwendungsspezifische Ressourcen anfordert, startet und überwacht, während Application Manager eine Komponente innerhalb von ResourceManager ist. Weitere Details zum Application Manager finden Sie weiter unten.
Der ApplicationsManager ist verantwortlich für die Verwaltung einer Sammlung von übermittelten -Anwendungen. Nach der Antragseinreichung überprüft es zuerst die Spezifikationen der Anwendung und weist jede Anwendung zurück, die unerfüllbare Ressourcen für ihren ApplicationMaster anfordert (d. H. Es gibt keinen Knoten im Cluster, der über genügend Ressourcen verfügt, um den ApplicationMaster selbst auszuführen). Es stellt dann sicher, dass keine andere Anwendung bereits mit der gleichen Anwendungs-ID gesendet wurde - ein Szenario, das durch einen fehlerhaften oder einen böswilligen Client verursacht werden kann. Schließlich leitet es die zugelassene Anwendung an den Scheduler weiter. Diese Komponente ist auch verantwortlich für die Aufzeichnung und Verwaltung der fertigen Anwendungen für eine Weile, bevor sie komplett aus dem ResourceManager Speicher evakuiert werden. Wenn eine Anwendung beendet ist, wird eine ApplicationSummary in die Protokolldatei des Daemons gestellt. Schließlich hält der ApplicationsManager einen Cache von abgeschlossenen Anwendungen lange nach Anwendungen zu Ende, um Benutzeranfragen nach Anwendungsdaten zu unterstützen (über Web-UI oder Befehl Zeile). Die Konfigurationseigenschaft yarn.resourcemanager.max-completed-applications steuert die maximale Anzahl solcher Anwendungen, die der ResourceManager zu einem beliebigen Zeitpunkt speichert. Der Cache ist eine First-In-First-Out-Liste, wobei die ältesten Anwendungen herausgezogen werden, um frisch fertiggestellte Anwendungen unterzubringen.
Dank, werden Applikations-Master oder Application Manager laufen als Dämonen oder sie laufen als Teil von anderen Dämonen? – hadooper
Sie werden als separate Prozesse (JVMs) ausgeführt. – vanekjar