Konfigurieren Sie Garn mit Hadoop 2.7.4 Ressourcenproblem

Question

Ich habe Hadoop 2.7.4 konfiguriert, indem Sie diesem tutorial folgen. DataNode, NameNode und SecondaryNameNode funktionieren ordnungsgemäß.

Aber wenn ich Garn laufen, geht NodeManager mit der folgenden Meldung unten

org.apache.hadoop.yarn.exceptions.YarnRuntimeException: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved SHUTDOWN-Signal von Resourcemanager, Registrierung von NodeManager fehlgeschlagen, Nachricht von ResourceManager: NodeManager von localhost erfüllt nicht minimale Zuweisungen, Senden von SHUTDOWN-Signal zum NodeManager.

Mein System hat 8 CPU mit 8 GB RAM. Wie konfiguriere ich Garn mit diesen Ressourcen? Ich habe eine Menge wie this gefunden, konnte aber keine Lösung finden, die mein Problem löst.

Answer 1

Ich hatte das gleiche Problem während eines Kurses. Wir haben virtuelle Amazon-Maschinen mit Kernen verwendet.

Nach verschiedenen Änderungen in yarn-site.xml wir unsere NodeManager bekam laufen die folgenden Eigenschaften

Einstellung

<property> 
    <name>yarn.nodemanager.resource.memory-mb</name> 
    <value>4096</value> 
</property> 

<property> 
    <name>yarn.nodemanager.resource.cpu-vcores</name> 
    <value>2</value> 
</property> 

In Ihrem Fall müssen Sie möglicherweise virtuelle Kerne herzustellen.