Kann ich eine Map-Aufgabe früher explizit aus dem Code in hadoop beenden?

Question

Es gibt Fälle, in denen ich nicht jeden Eingangsdatensatz in einer Map-Task durchlaufen muss. Zum Beispiel gebe ich nur von bis zu 200 Datensätzen aus, die bestimmte Bedingungen in jedem Mapper erfüllen, dann kann es aufhören.

Kann ich das in hadoop machen? Eine verwandte Methode kann im API-Dokument noch nicht gefunden werden.

Answer 1

Sie können dies wahrscheinlich erreichen, indem Sie die run-Methode in der Mapper überschreiben.

Die run-Methode sieht derzeit wie:

public void run(Context context) throws IOException, InterruptedException { 
    setup(context); 
    try { 
     while (context.nextKeyValue()) { 
      map(context.getCurrentKey(), context.getCurrentValue(), context); 
     } 
    } finally { 
     cleanup(context); 
    } 
} 

Das ist also, wie die Standard-map() Methode aufgerufen wird. Du könntest dort einen Zähler hinzufügen und aus der while-Schleife ausbrechen, sobald es 200 erreicht.