Massenkopieren einer DataTable in MySQL (ähnlich wie System.Data.SqlClient.SqlBulkCopy)

Question

Ich migriere mein Programm von Microsoft SQL Server zu MySQL. Alles funktioniert gut, außer einem Problem mit Massenkopieren.

In der Lösung mit MS SQL sieht der Code wie folgt aus:

connection.Open(); 
SqlBulkCopy bulkCopy = new SqlBulkCopy(connection); 
bulkCopy.DestinationTableName = "testTable"; 
bulkCopy.WriteToServer(rawData); 

Jetzt versuche ich, etwas ähnliches für MySQL zu tun. Da ich denke, dass es eine schlechte Leistung geben würde, möchte ich das DataTable nicht in eine CSV-Datei schreiben und die Einfügung von dort mit der Klasse MySqlBulkLoader machen.

Jede Hilfe würde sehr geschätzt werden.

Answer 1

Da ich denke, dass es schlechte Leistung wäre, möchte ich nicht die DataTable in eine CSV-Datei schreiben und die Einfügung von dort mit der MySqlBulkLoader-Klasse tun.

Schließen Sie eine mögliche Lösung basierend auf unbegründeten Annahmen nicht aus. Ich habe gerade die Einfügung von 100.000 Zeilen von einer System.Data.DataTable in eine MySQL-Tabelle mit einem Standard MySqlDataAdapter#Update() innerhalb einer Transaction getestet. Es dauerte durchweg etwa 30 Sekunden laufen:

using (MySqlTransaction tran = conn.BeginTransaction(System.Data.IsolationLevel.Serializable)) 
{ 
    using (MySqlCommand cmd = new MySqlCommand()) 
    { 
     cmd.Connection = conn; 
     cmd.Transaction = tran; 
     cmd.CommandText = "SELECT * FROM testtable"; 
     using (MySqlDataAdapter da = new MySqlDataAdapter(cmd)) 
     { 
      da.UpdateBatchSize = 1000; 
      using (MySqlCommandBuilder cb = new MySqlCommandBuilder(da)) 
      { 
       da.Update(rawData); 
       tran.Commit(); 
      } 
     } 
    } 
} 

(Ich habe versucht, ein paar verschiedene Werte für UpdateBatchSize aber sie scheinen keinen signifikanten Einfluss auf die verstrichene Zeit zu haben.)

von Kontrast: der folgende Code MySqlBulkLoader mit dauerte nur 5 oder 6 Sekunden ...

string tempCsvFileSpec = @"C:\Users\Gord\Desktop\dump.csv"; 
using (StreamWriter writer = new StreamWriter(tempCsvFileSpec)) 
{ 
    Rfc4180Writer.WriteDataTable(rawData, writer, false); 
} 
var msbl = new MySqlBulkLoader(conn); 
msbl.TableName = "testtable"; 
msbl.FileName = tempCsvFileSpec; 
msbl.FieldTerminator = ","; 
msbl.FieldQuotationCharacter = '"'; 
msbl.Load(); 
System.IO.File.Delete(tempCsvFileSpec); 

... einschließlich der Zeit ausführen, um die 100.000 Zeilen aus der Datentabelle in eine temporäre CSV-Datei Dump (mit Code ähnlich wie this), Massen-Laden von dieser Datei und Löschen der Datei danach.