Mehrzeilige Regex-Suche in ganze Datei

Question

Ich habe viele Beispiele gefunden, um Text in Dateien mit Regex zu ersetzen. Es läuft jedoch alles auf zwei Versionen ab:
1. Iterieren Sie über alle Zeilen in der Datei und wenden Sie Regex auf jede einzelne Zeile an
2. Laden Sie die gesamte Datei.

Nr. 2 Ist nicht machbar mit "meine" Dateien - sie sind über 2GiB ...
Zu Nr. 1: Derzeit ist dies mein Ansatz, aber ich frage mich ... Was, wenn Sie sich bewerben müssen ein Regex, das mehr als eine Zeile umfasst?

Answer 1

Hier ist die Antwort:
Es gibt keine einfache Möglichkeit,

Ich fand eine StreamRegex-Class, die in der Lage sein könnte zu tun, was ich suche.
Von dem, was ich von dem Algorithmus fassen konnte:

• Beginnen Sie am Anfang der Datei mit einem leeren Puffer
• tun (
  • ein Stück der Datei zu dem
  Puffer hinzuzufügen
  • wenn es eine Übereinstimmung in dem Puffer
    • Marke das Spiel
    • fallen alle Daten, die aus dem Puffer vor dem Ende des Spiels erschien
• ), solange es noch etwas von der Datei links ist

diese Weise ist es nicht nessesary ist die vollständige Datei zu laden - oder zumindest die Chancen, die volle Datei in den Speicher zu laden, werden reduziert ...
Allerdings: Im schlimmsten Fall gibt es keine Übereinstimmung in der ganzen Datei - in diesem Fall wird die gesamte Datei in den Speicher geladen.

Answer 2

Vielleicht könnten Sie zwei Zeilen gleichzeitig laden (oder mehr, je nachdem, wie viele Zeilen Ihrer Meinung nach Ihre Übereinstimmungen überspannen) und sie überlappen, zB: Laden Sie die Zeilen 1-2, dann die nächste Schleifenladung Linien 2-3, die nächste Ladung 3-4; und machen Sie Ihre Multiline-Regexes über beide Linien kombiniert in jeder Schleife.

Answer 3

Regex ist nicht der Weg zu gehen, vor allem nicht mit diesen großen Mengen an Text. Erstellen Sie einen eigenen Parser:

• lesen Sie die Datei Zeile für Zeile;
• für jede Zeile:
  • Schleife durch die Leitung char von char die Verfolgung irgendwelcher Öffnungs-/Schließ Stringliterale
  • , wenn Sie begegnen ‚/ *‘ (und du bist nicht ‚innen‘ eine Zeichenfolge), Shop, um die erste ‚* /‘ bis zur Hausnummer und Loop-Offset auftreten und diese Zahl speichern sowie

, dass Sie alle Start- und Schließ-Offset numbe geben rs der Kommentarblöcke. Sie sollten nun in der Lage sein, sie zu ersetzen, indem Sie eine temporäre Datei erstellen und den Text aus der ursprünglichen Datei in die temporäre Datei schreiben (und etwas anderes schreiben, wenn Sie sich in einem Kommentarblock befinden).

Edit: Quelldateien von 2GiB ??

Answer 4

Ich würde sagen, dass Sie die Daten vor der Ersetzung der Daten vorab analysieren/normalisieren sollten, so dass jede Zeile einen möglichen Datensatz beschreibt, der ersetzt werden muss. Andernfalls gerät man in Schwierigkeiten mit der Datenintegrität, die ohne eine Menge anderer Schwierigkeiten nicht wirklich gelöst werden kann.

Wenn es eine Möglichkeit gibt, die Daten in logische Blöcke zu zerlegen, könnten Sie ein Programm erstellen, das ein Mapreduce-Muster zum Parsen der Daten verwendet.

Answer 5

Ich bin mit Bart; Sie sollten wirklich eine Art von Parser dafür verwenden.

Oder, wenn Sie nichts dagegen haben, ein Kind Prozess Laichen, können Sie nur verwenden sed (es gibt eine native port on windows, oder Sie können Cygwin verwenden)

Answer 6

Wenn es Ihnen nichts ausmacht, Ihre Hände ein wenig schmutzig zu machen (und Ihre Regex ist einfach genug, oder vielleicht haben Sie ein starkes Verlangen nach Geschwindigkeit und nichts dagegen, ein bisschen leiden), können Sie Ragel verwenden. Es kann auf C# zielen, obwohl die Seite es nicht erwähnt. Sie müssen einen FileStream umschließen, um einen gepufferten Indexer bereitzustellen, oder eine Speicherabbilddatei (mit unsicheren Zeigern) in einem 64-Bit-Prozess verwenden, um dies jedoch mit großen Dateien zu verwenden.