Ich habe 6,5 GB Daten, die 900000 Zeilen in meiner Input-Tabelle **** besteht (tPostgresqlInput) **, ich versuche, die gleichen Daten in meine Ausgabetabelle zu laden (tPostgresqlOutput), beim Ausführen des Jobs erhalte ich keine Antwort von meiner Eingabetabelle. Gibt es eine Lösung zum Laden der Daten? Bitte beziehen Sie sich auf meinen Anhang Wie man mehr Daten in Datenbank über Talend ETL
Antwort
Sie müssen eine Strategie entwickeln, um mehr verwaltbare Datenblöcke abzurufen, z. B. die Daten auf Basis von Zeilen-IDs aufzuteilen. Auf diese Weise benötigt es nicht so viel Speicher oder Zeit, um die Daten abzurufen.
Sie können auch die Standardspeichergrenze für den Auftrag von 1 GB auf eine höhere Zahl erhöhen.
Wenn der Job im selben Netzwerk wie der Datenbankserver ausgeführt wird, kann die Leistung ebenfalls gesteigert werden.
Stellen Sie sicher, dass Sie die Option Cursor bei den erweiterten Eingaben verwenden aktiviert haben. Der Standardwert von 1 k ist in Ordnung. Aktivieren Sie auch die Batch-Größe am Ausgang, die ähnlich ist.
Indem Sie dies aktivieren, wird Talend mit 1k-Datensätzen gleichzeitig arbeiten.
Wenn diese zwei Tabellen in der gleichen DB sind, können Sie versuchen, Talend ELT-Komponente zu verwenden, keine Push-Down-Verarbeitung in die Datenbank. Werfen Sie einen Blick auf folgenden Satz von Komponenten: https://help.talend.com/display/TalendOpenStudioComponentsReferenceGuide60EN/tELTPostgresqlInput https://help.talend.com/display/TalendOpenStudioComponentsReferenceGuide60EN/tELTPostgresqlMap https://help.talend.com/display/TalendOpenStudioComponentsReferenceGuide60EN/tELTPostgresqlOutput
- 1. Talend ETL Job Fehler in tOracleOutput Komponente
- 2. Transponieren Daten mit Talend
- 3. ETL-Optionen mit Postgres
- 4. mehr Daten zu MSSQL-Datenbank
- 5. Wie wird ETL in WSO2 verwendet?
- 6. Talend - Limit Anzahl der verarbeiteten Zeilen
- 7. Talend Postgresql
- 8. Wie lade ich Daten schneller mit Talend und SQL-Server
- 9. Löffel ETL, wie man die Werte ändert
- 10. JOB TALEND TRIGGER
- 11. Wie liest man Daten aus einer POSTGRESQL-Datenbank mit DAS?
- 12. ETL-Framework zum Laden von Daten in Rails App
- 13. Wie Unterobjekte in Talend Schema
- 14. Wie schreibe ich Testfall für Talend Job?
- 15. Wie kann man mehr Daten anhängen?
- 16. ETL mit Python
- 17. So entfernen Sie Minus- und Pluszeichen-Duplikate über Talend-Job?
- 18. Wasserkocher etl wie in eine Zeit Datentyp
- 19. So richten mehr Taste Daten aus der Datenbank in PHP
- 20. Talend wie talend.project file öffnen
- 21. Laden mehr Daten aus der Datenbank beim Scrollen
- 22. Wie speichert man sehr alte Daten in der Datenbank?
- 23. wie man mehr element in listview verwendet?
- 24. Wie protokolliert man den Fortschritt von Aufgaben in Talend Open Studio?
- 25. Wie man Daten von der Datenbank holt?
- 26. Talend + lookup
- 27. wie man Daten in der Datenbank richtig in php einfügt
- 28. Best Practice-Ansätze für ETL auf BigQuery?
- 29. Steckbarkeit in Talend ESB Mediation
- 30. Aufruf eines Webdienstes in Talend tRestClient
6.5g/900K: = Ihre durchschnittliche Zeilengröße ist> 7K. Das sieht für mich nicht sehr gesund aus. – joop
Die Dinge beginnen interessant zu werden, wenn Sie LOBs im Bereich von 700MB haben :) aber Talend kann diese auch mit den Standardeinstellungen handhaben. –