Stream sehr langsam für große Dateien

Question

ich in einer Datei lesen bin zu wollen, die in diesem Fall ist 3mb tun dies ca. 50-60 Sekunden dauert, die sehr langsam erscheint. Kann jemand das schneller machen?

string text = null; 
using (StreamReader sr = new StreamReader(file, Encoding.Default)) 
{ 
    string line; 
    while ((line = sr.ReadLine()) != null) 
    { 
     text += (line); 
     backgroundWorker1.ReportProgress(text.Length); 
    } 
} 

Ich brauche auch einen Hintergrund Arbeiter zu verwenden, so dass ich den Prozentsatz berichten kann, die (für Dateien um 500mb bis 1gb)

Answer 1

Verwenden Sie einen Stringbuilder geladen sind Ihre Linie zu schaffen - es ist viel leistungsfähiger als String-Verkettung.

using System.Text; 

//... 

StringBuilder text = new StringBuilder(); 
using (StreamReader sr = new StreamReader(file, Encoding.Default)) 
{ 
    string line; 
    while ((line = sr.ReadLine()) != null) 
    { 
     text.Append(line); 
     backgroundWorker1.ReportProgress(text.Length); 
    } 
} 

// ... 
// Do something with the file you have read in. 
Console.WriteLine(text.ToString()); 

Answer 2

Sie diese Zeile verwenden:

string text = System.IO.File.ReadAllText(file); 

Answer 3

Stream sehr langsam für große Dateien C#

nein, ist es nicht. Wenn Sie Ihre grundlegenden Hausaufgaben laufen einen Profiler getan hätte, würden Sie sehen, dass die Zeit verbringen Sie ist NICHT im Stromleser ausgegeben.

text + = (Linie);

Diese Zeile erstellt eine neue Zeichenfolge. Dafür muss neuer Speicher zugewiesen werden. Für eine große Datei ist dies eine erhebliche Menge an Müll erstellt. Und je länger es dauert, desto mehr Kopiervorgänge machen Sie.

Wenn das ist, was Sie verwenden es für

backgroundWorker1.ReportProgress (text.length);

ist es auch nutzlos. Sie können auch eine

int textLength = 0

haben, die Sie dann

gesetzt

textLength + = line.Length

ohne den ganzen Text Manipulation.

Sie haben sollten, dass bekannt. Leistungsproblem? NIEMALS annehmen, IMMER uns ein Profiler - was sehr schnell das Problem gezeigt hätte. Dies ist ein grundlegendes Debugging.

Einige Hintergrund Mathe, btw:

(für Dateien um 500mb zu 1 GB)

Das bedeutet, dass einmal laden Sie 500mb Daten Ihr Code eine 500mb machen (wenn die Datei war Unicode) zu 1GB (String doppelt so groß wie eine ASCII-Datei) Kopiervorgang PER LINE.

Sie können die Speichergeschwindigkeit Ihres Computers nachschlagen. Abhängig vom Server usw.Sie können auf 50 GB pro Sekunde beschränkt sein (High End X99 - die neueren DDR 4 Speicher sind schneller, aber Workstations haben im Allgemeinen viel weniger Kanäle, sind also wieder langsamer) und eine Kopie zählt doppelt (Lesen und Schreiben). Was bedeutet, dass Sie wirklich anfangen in "Szenarien" zu kopieren, die den String überladen.