Hadoop, MapReduce - Mehrere Eingabe-/Ausgabepfade

Question

In meiner Eingabedatei verwende ich den Hadoop-local-Befehl, wenn ich den Jar für meinen MapReduce-Job erzeuge. Ich wollte wissen, ob es einen Weg gab, den Pfad für jede Datei in meinem Eingabeordner, der im MapReduce-Job verwendet werden soll, spezifisch anzugeben, und ob ich einfach alle Dateien aus meinem Eingabeordner angeben und übergeben könnte. Dies liegt daran, dass sich der Inhalt und die Anzahl der Dateien aufgrund der Art des MapReduce-Jobs ändern können, den ich zu konfigurieren versuche, und da ich die genaue Anzahl der Dateien nicht kenne, gibt es neben dem Inhalt dieser Dateien auch einen Weg dazu Übergeben Sie alle Dateien aus dem Eingabeordner in mein MapReduce-Programm und durchlaufen Sie dann jede Datei, um eine bestimmte Funktion zu berechnen, die dann die Ergebnisse an den Reducer sendet. Ich verwende nur ein Map/Reduce-Programm und bin in Java programmiert. Ich kann den hadoop-moonshot-Befehl verwenden, arbeite aber momentan mit hadoop-local.

Danke.

Answer 1

Sie müssen keine individuelle Datei als Eingabe für MapReduce Job übergeben.

FileInputFormat Klasse verfügt bereits über eine API zum Akzeptieren einer Liste mit mehreren Dateien als Eingabe zum Map Reduce-Programm.

public static void setInputPaths(Job job, 
       Path... inputPaths) 
          throws IOException 

einen Pfad in die Liste der Eingänge für die Karten reduzieren Job hinzufügen. Parameter:

conf - Die Konfiguration des Job

Pfad - Pfad zu der Liste der Eingänge für die Karten reduzieren Job hinzugefügt werden.

Beispiel Code von Apache tutorial

Job job = Job.getInstance(conf, "word count"); 
FileInputFormat.addInputPath(job, new Path(args[0])); 

MultipleInputs bietet unten APIs.

public static void addInputPath(Job job, 
       Path path, 
       Class<? extends InputFormat> inputFormatClass, 
       Class<? extends Mapper> mapperClass) 

einen Pfad mit einem benutzerdefinierten Inputformat und Mapper in die Liste der Eingänge für die Karten reduzieren Job hinzufügen.

Verwandte SE Frage:

Can hadoop take input from multiple directories and files

zu MultipleOutputs API Siehe in Bezug auf Ihre zweite Abfrage auf mehreren Ausgabepfade.

FileOutputFormat.setOutputPath(job, outDir); 

// Defines additional single text based output 'text' for the job 
MultipleOutputs.addNamedOutput(job, "text", TextOutputFormat.class, 
LongWritable.class, Text.class); 

// Defines additional sequence-file based output 'sequence' for the job 
MultipleOutputs.addNamedOutput(job, "seq", 
SequenceFileOutputFormat.class, 
LongWritable.class, Text.class); 

Sehen Sie sich verwandte SE-Fragen zu mehreren Ausgabedateien an.

Writing to multiple folders in hadoop?

hadoop method to send output to multiple directories