im Cluster-Modus DistributedCached Verwenden von

Question

Ich habe ein Objekt:

class Cache { 
    Map<K,V> map; 
} 

I DistributedCache verwendet, um eine URI enthält, dieses Objekt zu spezifizieren, dann in der Setup() Funktion in jeder Karte Aufgabe, geladen ich dieses Cache-Objekt für die Verarbeitung Insbesondere verwendete Cache-Objekt, um einen Wert in jeder Map-Task zu speichern.

Meine Frage ist, dass der Inhalt der Karte in jedem Datenknoten unterschiedlich sein wird, wenn wir im Cluster-Modus Hadoop ausführen. Ist es richtig? Wenn ich im lokalen Modus entwickelt habe, enthält der Inhalt der Karte das Ergebnis für den gesamten Datensatz.

Answer 1

Die auf den DN gespeicherten Daten haben dasselbe Format und der Mapper verarbeitet die Datei desselben Formats. Im Treibercode müssen Sie die Eingabe- und Formattypen definieren. In diesem Fall ist der Kontext identisch. Der Map-Kontext ist derselbe, wenn eine Map-Task auf einer beliebigen Anzahl von DNs ausgeführt wird.

Jetzt im verteilten Cache werden Sie die Dateien mit DistributedCache API hinzufügen. Und in der Setup-Methode überprüfen Sie die Datei, die Sie unter dem Array von Path-Objekt verarbeiten möchten.