Wenn YARN läuft, wird der Hadoop-Job gesendet. Bleiben Sie im Status "Accepted".

Ich benutze VirualBox, um Ubuntu 14 VM auf einem Windows-Laptop auszuführen. Ich habe Apache Distribution HDFS und YARN für Single Node konfiguriert. Wenn ich dfs und YARN starte, laufen alle benötigten Dämonen. Wenn ich YARN nicht konfiguriere und nur DFS ausführe, kann ich den MapReduce-Job erfolgreich ausführen. Aber wenn ich auch YARN ausführe und der Job im ACCEPTED-Zustand bleibt, habe ich viele Einstellungen bezüglich der Speichereinstellungen des Knotens versucht, aber kein Glück. Nach Verknüpfung gefolgt I einzelnen Knoten https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/SingleCluster.html Wenn YARN läuft, wird der Hadoop-Job gesendet. Bleiben Sie im Status "Accepted".

Kern-site.xml

` 
    <configuration> 
     <property> 
      <name>fs.defaultFS</name> 
      <value>hdfs://localhost:9000</value> 
     </property> 
    </configuration>`

Einstellungen hdfs-site.xm l`

<configuration> 
    <property> 
     <name>dfs.replication</name> 
     <value>1</value> 
    </property> 
    <property> 
    <name>dfs.name.dir</name> 
    <value>/home/shaileshraj/hadoop/name/data</value> 
    </property> 
</configuration>`

Einstellungen Satz von mapred-site.xml

`<configuration> 
    <property> 
     <name>mapreduce.framework.name</name> 
     <value>yarn</value> 
    </property> 
</configuration>`

Einstellungen von Garn-site.xml `

<property> 
     <name>yarn.nodemanager.aux-services</name> 
     <value>mapreduce_shuffle</value> 
    </property> 
    <property> 
     <name>yarn.nodemanager.resource.memory-mb</name> 
     <value>2200</value> 
     <description>Amount of physical memory, in MB, that can be allocated for containers.</description> 
    </property> 

    <property> 
     <name>yarn.scheduler.minimum-allocation-mb</name> 
     <value>500</value> 
    </property>

RM Web UI

Hier Bildschirm Anwendung Master-UI von RM Web. Was ich sehen kann AM-Container ist nicht zugeordnet, möglicherweise ist das Problem

Quelle

2017-05-17 Shailesh

Wenn der Job nicht genügend Anzahl von Ressourcen erhalten, wird es in ACCEPTED Zustand sein. Wenn es Ressourcen bekommt, wird es in RUNNING Zustand wechseln.

In Ihrem Fall öffnen Sie Resource Manager WebUI und überprüfen Sie, wie viele Ressourcen verfügbar sind, um Jobs auszuführen.

Quelle

2017-05-17 06:20:58 BruceWayne

Vielen Dank @BruceWayne für klare Einblicke. Das ist ein Rätsel beim Starten von dfs selbst, was dazu führt, dass im abgesicherten Modus weniger Speicher verfügbar ist. Auf HDFS Eingabedatei verwende ich nur ~ 1 KB und obwohl tmp Ordnergröße ist ~ 230 MB, nicht in der Lage herauszufinden, wo Ressourcen verbraucht werden, weil ich das Programm bisher nicht ausgeführt habe. Wie kann ich die Ressource erhöhen, damit ich die Anwendung ausführen kann? Fehler sagt über Blöcke, nicht sicher über die Bedeutung davon 'Abgesicherter Modus ist eingeschaltet. Die gemeldeten Blöcke 0 benötigen zusätzliche 8 Blöcke, um den Grenzwert von 0,9990 der gesamten Blöcke 9 zu erreichen. ' – Shailesh

könnten Sie Ihren Post mit RM WebUI aktualisieren. "SAFEMODE (SM) ON", Safemode für den NameNode ist im Wesentlichen ein schreibgeschützter Modus für den HDFS-Cluster, in dem keine Änderungen am Dateisystem oder an Blöcken zulässig sind. Sie müssen also warten, bis NN SM verlässt, um Jobs zu senden. – BruceWayne

Wie ich in der RM sehe, sind keine Ressourcen verfügbar, um den Job auszuführen. Können Sie sagen, wie viel RAM und Kerne der VM zugewiesen wurden? – BruceWayne

Wenn YARN läuft, wird der Hadoop-Job gesendet. Bleiben Sie im Status "Accepted".

Antwort

Verwandte Themen