2017-02-02 2 views
0

Ich habe eine Haupteingabetabelle mit 'Kopf' Daten wie ID, Name, Datum, .... Ich habe auch einen Subjob CALC dat berechnet die Werte nach Monat abhängig vom Datum von MAIN -> der Subjob speichert a neue Tabelle mit Spalten: [Monat_1], ...., [Monat_12], [TOTAL_YEAR] in eine neue .dat-Datei (gespeichert von tCacheOutput) mit dem Namen des übergeordneten Jobs und des aktuellenJahres.Talend for DI - Wie fügt man unbekannte Menge von Eingabedateien in eine Tabelle ein?

So zum Beispiel: Parentjob = ELTERN

ELTERN speichern einige Kopfdaten enthalten: [id], [Name], [Datum], [Wert] in eine Cache-Datei PARENT.dat und rufen dann das Subjob KIND .

CHILD iteriert durch Jahre (ich liefere sie über ein tFixedFlowInput) und ruft Daten aus der PARENT.dat-Datei ab. Dann prüft es das Jahr (zB 2016) und den Monat und generiert eine neue Tabelle (mit tMap) mit [Monat_1], [Monat_2], ..., [Monat_12], [Summe] und speichert diese in eine neue Tabelle .dat-Datei namens PARENT_2016. Dieser Prozess wird für jedes Jahr wiederholt wir möchten den Wert von ...

Nach dem Zurückkehren zum übergeordneten Job, muss ich jetzt die Daten in den PARENT.dat, PARENT_2016, ... Dateien gruppieren.

Meine Frage ist, wie kann ich alle erzeugten Dateien finden und sie einfach 'zusammenkleben' in einen großen Tisch? Ich bekomme, dass ich Eingaben für jedes Jahr manuell erstellen kann (tCacheInput) und dann kombinieren sie mit tMap, aber ich kenne das Schema nicht vorher (weil ich nicht weiß, wie viele Jahre der Job zu überprüfen) und Ich möchte keine manuellen Eingaben für jedes Jahr ...

Antwort

0

Sie müssen eine tFileList verwenden. Und im Filter setzen: „ELTERN *“

, dass alle Dateien mit dem Muster ELTERN in einem Ordner nehmen

+0

Hej, vielen Dank für Ihre Antwort ... kann ich tFileList verwenden, aber es ist nur wirksam, wenn alle Die .dat-Dateien haben das gleiche Schema (in dem Job, für den ich diese Frage eingereicht habe, haben sie das gleiche Schema, also funktioniert tFileList gut), aber was ist, wenn die Dateien unterschiedliche Schemas haben? Ist es möglich, sie irgendwie zu kombinieren? – LisekKL

Verwandte Themen