YARN UNHEALTHY Knoten

Question

In unserem YARN-Cluster, die zu 80% voll ist, sehen wir einige der Garnknotemanager sind als UNGERECHT markiert. Nachdem ich in Logs geforscht habe, habe ich es gefunden, weil der Speicherplatz auf der Platte zu 90% voll ist. Mit folgenden Fehler

2015-02-21 08:33:51,590 INFO org.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl: Node hdp009.abc.com:8041 reported UNHEALTHY with details: 4/4 local-dirs are bad: /data3/yarn/nm,/data2/yarn/nm,/data4/yarn/nm,/data1/yarn/nm; 
2015-02-21 08:33:51,590 INFO org.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl: hdp009.abc.com:8041 Node Transitioned from RUNNING to UNHEALTHY 

Ich versuche zu verstehen, wie Fadenmarken Knoten Ungesund & ist es eine Möglichkeit, um die Schwelle zu ändern?

Dank

Answer 1

versuchen, die Eigenschaft yarn.nodemanager.disk-health-checker.max-Disk-Nutzung-per-Disk-Prozentsatz zu Garn-site.xml Zugabe. Diese Eigenschaft gibt den maximalen prozentualen Anteil der zulässigen Plattenplatznutzung an, nach der ein Datenträger als fehlerhaft markiert wird. Werte können zwischen 0,0 und 100,0 liegen.

yarn-default.xml

Kraft gesundheits Zustand zB:

<?xml version="1.0"?> 
<configuration>  
    <property> 
    <name>yarn.nodemanager.disk-health-checker.min-healthy-disks</name> 
    <value>0.0</value> 
    </property> 
    <property> 
    <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name> 
    <value>100.0</value> 
    </property> 
</configuration>