Wie teilt man eine riesige Datei in Wörter?

Question

Wie kann ich eine sehr lange Zeichenfolge aus einer Textdatei lesen und sie dann verarbeiten (in Wörter aufgeteilt)?

Ich versuchte die StreamReader.ReadLine() Methode, aber ich bekomme eine OutOfMemory Ausnahme. Anscheinend sind meine Linien extrem lang. Dies ist mein Code für das Lesen von Datei:

using (var streamReader = File.OpenText(_filePath)) 
    { 

     int lineNumber = 1; 
     string currentString = String.Empty; 
     while ((currentString = streamReader.ReadLine()) != null) 
     { 

      ProcessString(currentString, lineNumber); 
      Console.WriteLine("Line {0}", lineNumber); 
      lineNumber++; 
     } 
    } 

Und der Code die Zeile in Worte teilt:

var wordPattern = @"\w+"; 
var matchCollection = Regex.Matches(text, wordPattern); 
var words = (from Match word in matchCollection 
      select word.Value.ToLowerInvariant()).ToList(); 

Answer 1

Sie von char lesen konnte, Wörter aufbauen, wie Sie gehen, yield mit ihm verschoben, so dass Sie die gesamte Datei auf einmal nicht lesen müssen:

private static IEnumerable<string> ReadWords(string filename) 
{ 
    using (var reader = new StreamReader(filename)) 
    { 
     var builder = new StringBuilder(); 

     while (!reader.EndOfStream) 
     { 
      char c = (char)reader.Read(); 

      // Mimics regex /w/ - almost. 
      if (char.IsLetterOrDigit(c) || c == '_') 
      { 
       builder.Append(c); 
      } 
      else 
      { 
       if (builder.Length > 0) 
       { 
        yield return builder.ToString(); 
        builder.Clear(); 
       } 
      } 
     } 

     yield return builder.ToString(); 
    } 
} 

Der Code liest die Datei durch Zeichen, und wenn es ein non-word Zeichen trifft, wird es yield return das bis dahin aufgebaute Wort (nur für das erste Nicht-Buchstabenzeichen). Der Code verwendet eine StringBuilder, um die Wortzeichenfolge zu erstellen.

Char.IsLetterOrDigit() verhält sich wie the regex word character w für Zeichen, aber Unterstriche (unter anderem) fallen auch in die letztere Kategorie. Wenn Ihre Eingabe mehr Zeichen enthält, die Sie ebenfalls hinzufügen möchten, müssen Sie die if() ändern.

Answer 2

Cut es in Bitgröße Abschnitte. Also, anstatt zu versuchen, 4GB zu lesen, was meiner Meinung nach ungefähr so ​​groß ist wie eine Seite, versuche 8 500 MB große Stücke zu lesen und das sollte helfen.

Answer 3

Müllsammlung kann eine Lösung sein. Ich bin nicht wirklich sicher, dass es die Problemquelle ist. Aber wenn das der Fall ist, ist ein einfaches GC.Collect oft nicht ausreichend und sollte aus Performancegründen nur aufgerufen werden, wenn es wirklich benötigt wird. Versuchen Sie die folgende Prozedur, die den Papierkorb aufruft, wenn der verfügbare Speicher zu niedrig ist (unter dem als Prozedurparameter angegebenen Schwellenwert).

int charReadSinceLastMemCheck = 0 ; 
using (var streamReader = File.OpenText(_filePath)) 
{ 

    int lineNumber = 1; 
    string currentString = String.Empty; 
    while ((currentString = streamReader.ReadLine()) != null) 
    { 

     ProcessString(currentString, lineNumber); 
     Console.WriteLine("Line {0}", lineNumber); 
     lineNumber++; 
     totalRead+=currentString.Length ; 
     if (charReadSinceLastMemCheck>1000000) 
     { // Check memory left every Mb read, and collect garbage if required 
      CollectGarbage(100) ; 
      charReadSinceLastMemCheck=0 ; 
     } 
    } 
} 


internal static void CollectGarbage(int SizeToAllocateInMo) 
{ 
     long [,] TheArray ; 
     try { TheArray =new long[SizeToAllocateInMo,125000]; }low function 
     catch { TheArray=null ; GC.Collect() ; GC.WaitForPendingFinalizers() ; GC.Collect() ; } 
     TheArray=null ; 
}