Pass Verzeichnisse nicht Dateien zu hadoop-streaming?

Question

In meinem Job muss ich viele historische Logsets analysieren. Einzelne Kunden (es gibt Tausende) möglicherweise Hunderte von Protokollunterverzeichnissen nach Datum ausgebrochen. Zum Beispiel:

• logs/Customer_One/2011-01-02-001
• logs/Customer_One/2012-02-03-001
• logs/Customer_One/2012-02-03-002
• logs/Customer_Two/2009-03-03-001
• logs/Customer_Two/2009-03-03-002

Jeder einzelne Protokollsatz kann sich fünf oder sechs Ebenen tief sein und tausende von Dateien enthalten.

Daher möchte ich eigentlich die einzelnen Map-Jobs zu Fuß die Unterverzeichnisse behandeln: einfach die Aufzählung einzelner Dateien ist Teil meines verteilten Computerproblems!

Leider, wenn ich versuche, ein Verzeichnis mit nur Log-Unterverzeichnissen an Hadoop zu übergeben, beschwert es sich, dass ich diese Unterverzeichnisse nicht an meine Mapper übergeben kann. (Auch hier habe ich geschrieben Verzeichnisse als Eingabe zu akzeptieren):

$ hadoop jar "${HADOOP_HOME}/contrib/streaming/hadoop-streaming-${HADOOP_VERSION}.jar" -input file:///mnt/logs/Customer_Name/ -file mapper.sh -mapper "mapper.sh" -file reducer.sh -reducer "reducer.sh" -output .

[ . . . ]

12/04/10 12:48:35 ERROR security.UserGroupInformation: PriviledgedActionException as:cloudera (auth:SIMPLE) cause:java.io.IOException: Not a file: file:/mnt/logs/Customer_Name/2011-05-20-003 12/04/10 12:48:35 ERROR streaming.StreamJob: Error Launching job : Not a file: file:/mnt/logs/Customer_Name/2011-05-20-003 Streaming Command Failed! [cloudera@localhost ~]$

Gibt es eine einfache Möglichkeit, Hadoop-Streaming zu überzeugen, mir zu erlauben, Verzeichnisse als Arbeitselemente zuweisen?

Answer 1

Ich denke, Sie müssen untersuchen, ein benutzerdefiniertes InputFormat schreiben, die Sie auch das Stammverzeichnis übergeben können, wird es eine Aufteilung für jeden Kunden erstellen, und dann der Datensatz Leser für jeden Split wird das Verzeichnis gehen und schieben Sie den Inhalt der Datei an Ihre Mapper

Answer 2

Hadoop unterstützt Eingabepfade zu einem regulären Ausdruck. Ich habe nicht mit vielen komplexen Regex experimentiert, aber die einfachen Platzhalter ? und * funktioniert.

Also in Ihrem Fall denke ich, wenn Sie die folgenden als Eingabepfad haben, wird es funktionieren:

file:///mnt/logs/Customer_Name/*/* 

Der letzte Stern möglicherweise nicht, da alle Dateien in der endgültigen Verzeichnis benötigt werden als Eingabe automatisch hinzugefügt Pfad.