2016-04-03 8 views
0

Ich habe 6,5 GB Daten, die 900000 Zeilen in meiner Input-Tabelle **** besteht (tPostgresqlInput) **, ich versuche, die gleichen Daten in meine Ausgabetabelle zu laden (tPostgresqlOutput), beim Ausführen des Jobs erhalte ich keine Antwort von meiner Eingabetabelle. Gibt es eine Lösung zum Laden der Daten? Bitte beziehen Sie sich auf meinen Anhang enter image description hereWie man mehr Daten in Datenbank über Talend ETL

+1

6.5g/900K: = Ihre durchschnittliche Zeilengröße ist> 7K. Das sieht für mich nicht sehr gesund aus. – joop

+0

Die Dinge beginnen interessant zu werden, wenn Sie LOBs im Bereich von 700MB haben :) aber Talend kann diese auch mit den Standardeinstellungen handhaben. –

Antwort

0

Sie müssen eine Strategie entwickeln, um mehr verwaltbare Datenblöcke abzurufen, z. B. die Daten auf Basis von Zeilen-IDs aufzuteilen. Auf diese Weise benötigt es nicht so viel Speicher oder Zeit, um die Daten abzurufen.

Sie können auch die Standardspeichergrenze für den Auftrag von 1 GB auf eine höhere Zahl erhöhen.

Wenn der Job im selben Netzwerk wie der Datenbankserver ausgeführt wird, kann die Leistung ebenfalls gesteigert werden.

0

Stellen Sie sicher, dass Sie die Option Cursor bei den erweiterten Eingaben verwenden aktiviert haben. Der Standardwert von 1 k ist in Ordnung. Aktivieren Sie auch die Batch-Größe am Ausgang, die ähnlich ist.

Indem Sie dies aktivieren, wird Talend mit 1k-Datensätzen gleichzeitig arbeiten.

0

Wenn diese zwei Tabellen in der gleichen DB sind, können Sie versuchen, Talend ELT-Komponente zu verwenden, keine Push-Down-Verarbeitung in die Datenbank. Werfen Sie einen Blick auf folgenden Satz von Komponenten: https://help.talend.com/display/TalendOpenStudioComponentsReferenceGuide60EN/tELTPostgresqlInput https://help.talend.com/display/TalendOpenStudioComponentsReferenceGuide60EN/tELTPostgresqlMap https://help.talend.com/display/TalendOpenStudioComponentsReferenceGuide60EN/tELTPostgresqlOutput