Yarn UI zeigt keinen aktiven Knoten, während es in HDFS UI

Question

Ich habe Hadoop in meinem Laptop, und wenn ich einen Auftrag auf Hadoop (obwohl MapReduce und Tez), den Status immer akzeptiert, aber der Fortschritt immer steckte bei 0% und Beschreibung schrieb etwas wie "Warten auf AM Container zugewiesen werden".

Wenn ich den Knoten durch GARN UI überprüfen (localhost: 8088), es zeigt, dass der aktive Knoten ist 0

Aber von HDFS UI (localhost: 50070), es zeigt, dass es sind ein Live-Knoten.

Ist das der Hauptgrund, dass der Job stecken verursachen, da es keine verfügbaren Knoten sind? Wenn das der Fall ist, was soll ich tun?

Answer 1

In Ihrem GARN UI, es zeigt Sie haben Null vcores und Null Speicher, so gibt es keine Möglichkeit für jeden Job ausgeführt je ist, da Sie Computing-Ressourcen fehlen. Der Datanode ist nur für den Speicher (in diesem Fall HDFS) und spielt keine Rolle, warum Ihre Anwendung blockiert ist.

Ihr Problem zu beheben, müssen Sie Ihre Garn-site.xml und bieten Einstellungen für die Speicher und vcore Eigenschaften im folgenden beschrieben aktualisieren:

http://blog.cloudera.com/blog/2015/10/untangling-apache-hadoop-yarn-part-2/ Sie

eine Cloudera Quick VM könnte in Betracht ziehen oder Hortonworks Sandbox (zumindest als Referenz für Konfigurationswerte für die Website "yarn-site.xml").

https://www.cloudera.com/downloads/quickstart_vms/5-10.html https://hortonworks.com/products/sandbox/