Beim Neustart von Hadoop Yarn wirkt sich das auf den laufenden MapReduce-Job aus.

Question

Einige Male habe ich Yarn neu gestartet, als MapReduce-Jobs darauf ausgeführt wurden, aber ich habe festgestellt, dass die laufenden MR-Jobs nicht betroffen waren. Nach dem Neustart von Yarn könnten die MR-Jobs sofort wieder aufgenommen werden. Ich habe mich gefragt, warum die MR-Jobs nicht fehlgeschlagen sind. Übrigens waren alle meine MapReduce-Jobs ein Pig-Script-Job.

Answer 1

Die link bietet die Hochverfügbarkeitsarchitektur von YARN Resource Manager.

In Ihrem Fall glaube ich, dass automatisches Failover aktiviert ist. Wenn der Ressourcenmanager ausfällt, wird automatisch eine andere RM als aktive Ressource ausgewählt.