Wie lade ich Daten schneller mit Talend und SQL-Server

Question

Ich benutze Talend, um Daten in eine SQL-Server-Datenbank zu laden.

Es scheint, dass der schwächste Punkt meines Jobs nicht die Datenverarbeitung ist, sondern die effektive Last in meiner Datenbank, die nicht schneller als 17 Zeilen/Sek. Ist.

Der komische Punkt ist, dass ich 5 Jobs in der gleichen Zeit starten kann, und sie werden alle mit 17 Zeilen/Sek.

Was könnte diese Langsamkeit erklären und wie könnte ich die Geschwindigkeit verbessern?

Dank

Neue Informationen:

Die Übertragungsgeschwindigkeit zwischen meinem Desktop und dem Server ist über 1MByte

verpflichtet Meine Aufgabe alle 10 000

ich SQL Server verwenden 2008 R2

An d das Schema I für meine Jobs verwenden ist wie folgt:

Answer 1

ich gefunden habe, wo diese Performance-Problem kommen Form.

Ich mache eine INSERT OR UPDATE, wenn ich es durch eine einfache INSERT ersetze, geht die Geschwindigkeit bis zu 4000 Reihen/s.

Scheint es wie ein akzeptables Tempo?

Wie auch immer, ich brauche meine INSERT OR UPDATE so, ich denke, ich stecke fest.

Answer 2

Datenbank INSERT OR UPDATE Methoden sind unglaublich teuer, da die Datenbank nicht alle Commits gleichzeitig abarbeiten kann und sie Zeile für Zeile ausführen muss (ACID-Transaktionen erzwingen dies, weil sie versucht haben, eine Einfügung durchzuführen und dann alle die anderen Datensätze in diesem Commit würden ebenfalls fehlschlagen).

Bei großen Massenoperationen empfiehlt es sich immer vorzubestimmen, ob ein Datensatz eingefügt oder aktualisiert wird, bevor das Commit an die Datenbank übergeben und dann zwei Transaktionen an die Datenbank gesendet werden.

Ein typischer Job, der diese Funktionalität benötigt, würde die Daten, die INSERT OR UPDATEd sein sollen, zusammenstellen und dann die Datenbanktabelle nach den vorhandenen Primärschlüsseln abfragen. Wenn der Primärschlüssel bereits vorhanden ist, können Sie diesen als UPDATE senden, andernfalls ist es ein INSERT. Die Logik dafür kann leicht in einer Komponente tMap durchgeführt werden.

In dieser Arbeit haben wir einige Daten, die wir INSERT OR UPDATE in einer Datenbanktabelle wünschen, dass einige bereits vorhandene Daten enthält:

Und wir möchten folgende Daten hinzufügen es:

Der Job arbeitet, indem er die neuen Daten in eine tHashOutput Komponente wirft, so dass er mehrmals im selben Job verwendet werden kann (er legt ihn einfach in den Speicher oder in großen Fällen kann er ihn auf der Festplatte zwischenspeichern).

Im Anschluss wird eine Datenmenge von einer tHashInput Komponente ausgelesen und direkt in eine tMap. Eine weitere tHashInput Komponente verwendet wird, um eine parametrisierte Abfrage für die Tabelle auszuführen:

Sie this guide to Talend and parameterised queries nützlich finden können. Von hier aus werden die zurückgegebenen Datensätze (also nur diejenigen, die bereits in der Datenbank sind) als ein Lookup für die tMap verwendet.

Dies wird dann als INNER JOIN konfigurieren, um die Datensätze zu finden, die UPDATED mit dem Spuck vom INNER JOIN sein muß eingefügt werden:

Diese Ausgänge fließen dann nur tMySQLOutput Komponenten UPDATE zu trennen oder INSERT nach Bedarf. Und schließlich, wenn der Haupt-Sub-Job abgeschlossen ist, wir commit die Änderungen.

Answer 3

Basierend auf Ihrer Notiz, dass Inserts eine Größenordnung schneller als Updates (4000 vs 17/sec) sind - Es sieht so aus, als ob Sie Ihre DB-Indizes betrachten müssen. Das Hinzufügen eines Index, der mit Ihren Update-Parametern übereinstimmt, könnte Ihre Updates erheblich beschleunigen. Natürlich kann dieser Index Ihre Einsätze ein wenig verlangsamen.

Sie können auch den Abfrageausführungsplan für Ihre Aktualisierungsabfrage anzeigen, um festzustellen, ob Indizes verwendet werden. How do I obtain a Query Execution Plan?

Answer 4

Sie sollten eine Staging-Tabelle erstellen, in die Sie die Zeilen einfügen.

Basierend auf dieser Staging-Tabelle führen Sie eine DELETE-Abfrage mit t * SQLrow.

DELETE FROM target_table 
WHERE target_table.id IN (SELECT id FROM staging_table); 

Die Zeilen, die Sie aktualisieren wollten, sind nicht mehr vorhanden.

INSERT INTO target_table 
SELECT * FROM staging_table; 

Dadurch werden alle neuen/geänderten Zeilen verschoben.

Answer 5

Ich denke, dass die Antwort von @ydaetskcoR aus teorischer Sicht perfekt ist (teile Zeilen, die Insert von denen zu Update brauchen) und gibt dir eine funktionierende ETL - Lösung, nützlich für kleine Datenmengen (einige tausend Zeilen).

Das Durchführen der Suche, um entscheiden zu können, ob eine Zeile aktualisiert werden muss oder nicht, ist teuer in ETL, da alle Daten zwischen der Talend-Maschine und dem DB-Server hin- und hergehen.

Wenn Sie zu einigen hundert oder sogar Millionen von Datensätzen gelangen, müssen Sie von ETL zu ELT übergehen: Sie laden Ihre Daten einfach in eine temporäre Tabelle, wie von @Balazs Gunics empfohlen, und dann verwenden Sie SQL manipuliere es.

In diesem Fall werden Sie nach dem Laden Ihrer Daten (nur INSERT = schnell, noch schneller mit BULK LOAD-Komponenten) einen LEFT OUTER JOIN zwischen der temporären Tabelle und dem Ziel ausgeben, um die Zeilen zu teilen, die bereits vorhanden sind) und die Anderen.

Diese Abfrage wird auf die Zeilen, die Sie einfügen müssen geben:

SELECT staging.* FROM staging 
LEFT OUTER JOIN destination ON (destination.PK = staging.PK) 
WHERE destination.PK IS NULL 

Das andere die Zeilen, die Sie aktualisieren müssen:

SELECT staging.* FROM staging 
LEFT OUTER JOIN destination ON (destination.PK = staging.PK) 
WHERE destination.PK IS NOT NULL 

Diese Größenordnungen als ETL wird schneller sein, ABER Sie müssen SQL verwenden, um Ihre Daten zu bearbeiten, während Sie in ETL Java verwenden können, da ALLE Daten zum Talend-Server übertragen werden. Daher ist es häufig ein erster Schritt auf dem lokalen Rechner, die Daten in Java vorzuverarbeiten (um es zu säubern und zu validieren) und dann feuern Sie es in der Datenbank ab, in der Sie es verwenden, um es zu laden der richtige Weg.

Hier sind die ELT JOB Screenshots.

Answer 6

ich das gleiche Problem Laden von Daten in einem DB2-Server mit wurde. Ich hatte auch das Commit auf 10000 gesetzt, aber sobald ich die Option zum Batch (auf der gleichen Komponente Optionen Bildschirm) ausgewählt Leistung drastisch verbessert. Als ich den Commit und den Batch auf 20000 verschoben habe, ging der Job von 5 Stunden auf unter 2 Minuten.