Wie können wir diese n Teildateien (Ausgabedatei von Pig-Operation) zusammenführen. Ich muss diese Dateien zu einem zusammenführen und dann als eine Eingabe in der Struktur verwenden. Ich habe versucht, mit -cat und -getmerge, aber kein Glück. Jeder Vorschlag wird hilfreich sein.Zusammenführen von Teiledatei in PIG
Dank
Die Hadoop FileUtil Klasse verfügt über eine copyMerge Methode, die sehr gut das Problem mit mehreren Teildateien behandelt.
Es werden alle Dateien in dem Ordner, den Sie bereitstellen (obwohl sie nicht rekursiv aussehen), und alle verkettet, um eine einzelne Datei zu erstellen.
Sie können die Datei in der folgenden Art und Weise
A = LOAD '/hdfs/OUTPUT/ReliableProducts-r-*' using PigStorage('\t') as (Sid:int,Sname:chararray,Ttrading:chararray,Sloc:chararray,OBal:int,CBal:int,Frate:int);
Hoffnung geben, das hilft !!!
Mögliche Duplikate von [wie mehrere Textdateien in einem Ordner in Schwein mit load-Befehl laden?] (Http://stackoverflow.com/questions/23622288/how-to-load-multiple-text-files-in- Ein-Ordner-im-Schwein-Verwendung-Lade-Befehl) –