Wie parallel Datei lesen und schreiben

Question

Ich habe ein Programm, das Daten aus 2 Textdateien liest und speichern Sie das Ergebnis in eine andere Datei. Da es viele zu lesende und zu schreibende Daten gibt, die einen Leistungseinbruch verursachen, möchte ich die Lese- und Schreiboperationen parallelisieren.

Mein erster Gedanke ist, verwenden Sie 2 Threads als Beispiel, ein Thread lesen/schreiben von Anfang an, und ein anderer Thread lesen/schreiben von der Mitte der Datei. Da meine Dateien als Zeilen und nicht als Bytes formatiert sind (jede Zeile kann unterschiedliche Datenbytes haben), funktioniert byteweise bei mir nicht. Und die Lösung, an die ich denken könnte, ist getline() zu verwenden, um die vorherigen Zeilen zuerst zu überspringen, was möglicherweise nicht effizient ist.

Gibt es eine gute Möglichkeit, eine bestimmte Zeile in einer Datei zu suchen? oder haben Sie noch andere Ideen, um das Lesen und Schreiben von Dateien zu paralisieren?

Umwelt: Win32, C++, NTFS, einzelne Festplatte

Dank.

-Dbger

Answer 1

Generell wollen Sie nicht Disk-I/O parallelisieren. Festplatten mögen keine zufällige I/O, weil sie ständig suchen müssen, um zu den Daten zu gelangen. Angenommen, Sie verwenden kein RAID, und Sie verwenden Festplatten im Gegensatz zu Solid-State-Speichern, werden Sie eine starke Leistungseinbuße feststellen, wenn Sie I/O parallelisieren (selbst wenn Sie Technologien wie diese verwenden, können Sie immer noch etwas Leistung sehen) Verschlechterung bei vielen zufälligen I/O).

Um Ihre zweite Frage zu beantworten, gibt es wirklich keine gute Möglichkeit, eine bestimmte Zeile in einer Datei zu suchen; Sie können nur explizit nach einem Byte-Offset mit der read Funktion suchen (siehe this page für weitere Details zur Verwendung.

Answer 2

Dies ist nicht wirklich eine Antwort auf Ihre Frage, sondern ein Re-Design (das wir alle hassen kann aber nicht helfen.) Wie bereits erwähnt, wird es wahrscheinlich nicht helfen, E/A auf einer Festplatte mit mehreren Threads zu beschleunigen

Es könnte jedoch möglich sein, je nach Datenempfindlichkeit einen anderen Ansatz zu verwenden B. Durchsatzanforderungen, Datengröße usw. Es wäre nicht schwierig, eine Struktur im Speicher zu erstellen, die ein Bild der Daten verwaltet und einfache/schnelle Aktualisierungen der Textzeilen überall in den Daten ermöglicht. Sie könnten dann einen dedizierten Thread verwenden das überwacht einfach diese Struktur und wessen Aufgabe es ist zu schreiben die Daten auf die Festplatte. Das sequentielle Schreiben von Daten auf die Festplatte kann extrem schnell sein; es kann viel schneller sein, als zufällig nach verschiedenen Abschnitten zu suchen und es in Stücke zu schreiben.

Answer 3

Das Einreihen mehrerer Lese- und Schreibvorgänge hilft nicht, wenn Sie auf einem Datenträger ausgeführt werden. Wenn Ihre App auch eine Menge Arbeit in der CPU ausgeführt hat, könnten Sie Ihre Lese- und Schreibvorgänge asynchron ausführen und die CPU arbeiten lassen, während die Festplatten-E/A im Hintergrund auftritt. Alternativ erhalten Sie eine zweite physikalische Festplatte: lesen Sie von einem, lesen Sie den anderen. Für kleine Datenmengen ist das oft effektiv und ziemlich viel billiger als das Schreiben von Code.