Wie verarbeitet man Zeilen in einer Datei in einem bestimmten Hadoop-Slave?

Question

Wir haben ein benutzerdefiniertes Eingabeformat, das das FileInputFormat erweitert, das für jede Zeile in der Eingabedatei eine separate Aufteilung generiert. Diese Datei enthält einen Hostnamen, in dem der Mapper, der diese Zeile verarbeitet, ausgeführt werden sollte.

Wie erreiche ich das?

Dies ist erforderlich, da der Mapper Daten aus DB liest und ich den Mapper auf dem gleichen Computer wie der DB-Server ausführen möchte.

Answer 1

Nicht möglich, ohne Ihre eigene Implementierung innerhalb der Hadoop-Codebasis zu schreiben.

Wenn Sie versuchen, der Karteneingabe weitere Daten hinzuzufügen, übergeben Sie sie als Argument an den Job, und Sie können sie dann in Ihrer map() einfügen und mit der Eingabe verketten.