Der beste Code zum Generieren von 1.000.000 Dateien aus der Datenbank

Question

Mit C# möchte ich 1.000.000 Dateien aus der DB generieren, jeder Datensatz in einer separaten Datei. Was ist der beste Weg, um diese Dateien in kürzester Zeit zu generieren?

Hier ist mein Code ohne Gewinde:

AppDomain.CurrentDomain.ProcessExit += new EventHandler(CurrentDomain_ProcessExit); // to calculate the execution time in case of using threading 
    SqlCommand cmd = new SqlCommand(@"select top 1000000 p1+','+p2+','+p3+','+p4 as line from lines ", con); 

    con.Open(); 
    var rdr = cmd.ExecuteReader(); 
    int i = 0; 
    while (rdr.Read()) 
    { 

     string line = rdr.Getring(0); 
     string filename = String.Format("file{0}.txt", ++i); 
     File.WriteAllText(filename, line); 

    } 
    rdr.Close(); 
    con.Close(); 

Answer 1

Da Ihre Operationen werden IO gebunden und nicht die CPU gebunden ist, ist der beste Weg 2 Fäden zu haben, eine, die die Datensätze aus DB liest und es in ein setzen Warteschlange, der andere liest aus der Warteschlange und generiert die Dateien.

Alternativ können Sie die CLR-Thread-Pool für das verwenden, so etwas wie

while (rdr.Read()) 
    { 

     string line = rdr.Getring(0); 
     ThreadPool.QueueUserWorkItem (new WaitCallback(writeData), line); 

    } 

und writedata wie

static void writeData(Object line) 
{ 
      string filename = String.Format("file{0}.txt", ++i); 
      File.WriteAllText(filename, line); 
} 

Der Nachteil der Verwendung des Thread aussehen würde, wird man mehr Threads könnte am Ende Da Ihre Threads in IO die meiste Zeit blockiert sind, erstellt der Thread-Pool neue Threads, um Ihre Anforderungen zu bearbeiten.

Sie können zuerst den Threadpool testen und die Leistung messen. Wenn Sie nicht zufrieden sind, können Sie den Ansatz mit 2 Threads, 1 Queue versuchen; bekannt als Producer/Consumer Problem.

Answer 2

Sie würden davon profitieren, mehr Threads zu haben; Der beste Weg, die genaue Zahl herauszufinden, ist empirisch, aber beschränken Sie sich nicht auf einen pro CPU-Kern, wie Sie es bei CPU-gebundenen Aufgaben tun würden. Der einfachste Weg besteht darin, einen ThreadPool zu verwenden, aber ein Producer/Consumer-Warteschlangensystem wäre flexibler und abstimmbarer.

Answer 3

Warum nicht das SSIS-Paket verwenden? Soll es nicht solche Dinge tun?

Answer 4

This könnte helfen.