Schnellste Art und Weise parallel zu einer einzigen Tabelle einfügen

Question

Meine Firma ist verflucht von einer symbiotischen Partnerschaft parasitär geworden. Um unsere Daten vom Parasiten zu erhalten, müssen wir eine schmerzhaft langsame ODBC-Verbindung verwenden. In letzter Zeit ist mir jedoch aufgefallen, dass ich durch paralleles Ausführen von Abfragen (sogar in der gleichen Tabelle) mehr Durchsatz erzielen kann.

Es gibt eine besonders große Tabelle, aus der ich Daten extrahieren und in unsere lokale Tabelle verschieben möchte. Abfragen parallel ausführen Ich kann Daten schneller abrufen, aber ich stelle mir auch vor, dass dies Probleme beim Versuch, Daten aus mehreren Abfragen gleichzeitig in dieselbe Tabelle zu schreiben, verursachen könnte.

Welchen Rat können Sie mir geben, wie ich diese Situation am besten behandeln kann, damit ich die erhöhte Geschwindigkeit der parallelen Verwendung von Abfragen nutzen kann?

EDIT: Ich habe hier ein tolles Feedback erhalten, aber ich glaube nicht, dass ich die Daten über einen Verbindungsserver (der die odbc-Treiber verwendet) übermittele. Mit anderen Worten, das bedeutet, dass ich normale INSERT-Anweisungen ausführen kann und ich glaube, das würde eine bessere Leistung als SqlBulkCopy oder BULK INSERT bieten (eigentlich glaube ich nicht, dass BULK INSERT sogar eine Option wäre).

Answer 1

Haben Sie Load 1TB in less than 1 hour gelesen?

1. laufen so viele Ladeprozesse, wie Sie verfügbaren CPUs haben. Wenn Sie 32 CPUs mit haben, führen Sie 32 parallele Lasten aus. Wenn Sie über 8 CPUs verfügen, führen Sie 8 parallele Lasten aus.
2. Wenn Sie Kontrolle über die Erstellung Ihrer Eingabedateien haben, machen Sie sie einer Größe, die durch die Anzahl der Lade-Threads gleichmäßig teilbar ist, die Sie parallel ausführen möchten. Stellen Sie außerdem sicher, dass alle Datensätze zu einer Partition gehören, wenn Sie die Switch-Partitionsstrategie verwenden möchten.
3. Verwenden Sie BULK-Einfügung anstelle von BCP, wenn Sie den Prozess auf dem SQL Server-Computer ausführen.
4. Verwenden Sie Tabellenpartitionierung, um weitere 8-10% zu erhalten, aber nur, wenn Ihre Eingaben GARANTIERT sind, um Ihrer Partitionierungsfunktion zu entsprechen, dh , dass alle Datensätze in einer Datei in derselben Partition sein müssen.
5. Verwenden Sie TABLOCK, um eine gleichzeitige Zeilensperrung zu vermeiden.
6. Verwenden Sie ROWS PRO BATCH = 2500, oder etwas in der Nähe, wenn Sie mehrere Streams in eine Tabelle importieren.

Für SQL Server 2008 gibt es bestimmte Situationen, in denen Sie minimal logging for a standard INSERT SELECT nutzen können:

SQL Server 2008 verbessert die Methoden, die es mit minimalen Protokollierung verarbeiten kann. Es unterstützt minimal protokollierte reguläre INSERT SELECT Anweisungen. Durch Aktivieren des Ablaufverfolgungsflags 610 kann SQL Server 2008 außerdem die minimale Protokollierung gegen eine nichtleere B-Struktur für neue Schlüsselbereiche unterstützen, die Zuordnungen neuer Seiten verursachen.

Answer 2

Wenn Ihr auf der Suche diese C# im Code also zu tun besteht die Möglichkeit, SqlBulkCopy zu verwenden (im System.Data.SqlClient-Namespace) und wie dieser Artikel schlägt vor, die Möglichkeit, das parallel zu tun.

http://www.adathedev.co.uk/2011/01/sqlbulkcopy-to-sql-server-in-parallel.html

Answer 3

Wenn von einer Chance auf SQL 2014 aktualisiert haben, können Sie parallel einsetzen können (Kompatibilitätsgrad muss 110 sein). Siehe hierzu: http://msdn.microsoft.com/en-us/library/bb510411%28v=sql.120%29.aspx