Grundlegende Erläuterungen zu Hadoop

Question

Wie wird die spekulative Ausführung in hadoop festgelegt? in welchen Konfigurationsdateien müssen wir gehen und diese Änderungen vornehmen? Bitte erläutern Sie Schritt für Schritt.

Sollen die spekulativen Ausführungsänderungen im Knoten Name oder im Knoten Daten vorgenommen werden? wenn in Data knoten können wir sie auf die jeweiligen Systeme wie (1-10 Systeme in meinem Cluster und ich setze spekulative Ausführung nur für 2,3 Daten-Knoten-Systeme)

Answer 1

spekulative Ausführung ist auf standardmäßig in Hadoop .

So aktivieren/spekulative Ausführung deaktivieren, ändern diese Eigenschaften in mapred-site.xml

<property> 
    <name>mapreduce.map.speculative</name> 
    <value>true</value> 
</property> 
<property> 
    <name>mapreduce.reduce.speculative</name> 
    <value>true</value> 
</property> 

Dies ist eine clusterweite Eigenschaft und kann auch auf Job-Ebene festgelegt werden.

wenn in Datenknoten können wir sie auf die jeweiligen Systeme setzen

Kein, ist es möglich, einen Job aus laufenden spekulativen Aufgaben zu beschränken, nicht aber die Knoten.