Bei einer parallelen Suche wird die Speicherbandbreite der begrenzende Faktor?

Question

Ich habe einige große Dateien (von mehreren Gigabyte bis zu Hunderten von Gigabytes), die ich suche und versuche, jedes Vorkommen einer gegebenen Zeichenfolge zu finden.

Ich habe versucht, dies parallel zu betreiben und einige Fragen zu haben.

1. Wie soll ich das machen? Ich kann nicht die gesamte Datei in den Speicher kopieren, da sie zu groß ist. Funktionieren mehrere FILE * Zeiger?

2. Wie viele Threads kann ich in die Datei einfügen, bevor die Datenträgerbandbreite zu einem begrenzenden Faktor wird und nicht zur CPU? Wie kann ich das umgehen?

Derzeit, was ich dachte, das ich 4 Threads verwenden würde, Aufgabe jeweils mit einem FILE * entweder 0%, 25%, 50% und 75% Weg durch die Datei und jeweils speichern ihre Ergebnisse zu einer Datei oder Speicher und sammeln Sie dann die Ergebnisse als letzten Schritt. Mit diesem Ansatz könnte ich jedoch, abhängig von der Bandbreite, einfach weitere Threads hinzufügen und möglicherweise eine größere Beschleunigung erzielen.

Was denkst du?

EDIT: Als ich Speicherbandbreite sagte, meinte ich eigentlich Festplatten-I/O. Das tut mir leid.

Answer 1

Mit dieser neuen überarbeiteten Version der Frage lautet die Antwort "fast sofort". Festplatten können nicht sehr gut gleichzeitig von zwei Orten auf der Festplatte lesen. :) Wenn Sie mehrere Festplatten hatten und Ihre Datei auf diese Dateien aufteilen, könnten Sie wahrscheinlich etwas Threading nutzen. Um fair zu sein, würde ich jedoch sagen, dass die Plattengeschwindigkeit bereits der begrenzende Faktor ist. Ich bezweifle stark, dass Ihre Festplatte Daten schneller lesen kann als der Prozessor damit umgehen kann.

Answer 2

Ich bezweifle, Speicherbandbreite wird ein so großes Problem wie Disk-IO-Einschränkungen sein. Mit der meisten Hardware werden Sie sehr eingeschränkt sein, wie jeder Thread von Festplatte lesen kann -

Wenn Sie den Durchsatz maximieren möchten, müssen Sie möglicherweise etwas tun, wie ein Thread, dessen Aufgabe es ist, Datenträger-IO (die meiste Hardware kann nur einen Block von der Platte gleichzeitig streamen, also wird das ein limitierender Faktor sein). Es kann dies dann übernehmen und Speicherbereiche an einzelne Threads in einer bestimmten Art von Thread-Pool zur Verarbeitung abschieben.

Meine Vermutung ist, dass Ihre Verarbeitung wird schnell - wahrscheinlich viel schneller als die Festplatte IO - aber wenn es langsam ist, könnte mehrere Verarbeitungs-Threads Ihren gesamten Vorgang beschleunigen.

Mehrere FILE * Zeiger funktionieren - aber möglicherweise langsamer als nur eine einzige, da sie am Ende Zeit schneiden werden, um die Datei zu lesen, und Sie werden auf Ihrer Festplatte mehr springen.

Answer 3

Wenn Sie ein SSD-Laufwerk verwenden. Sie können dieses Problem umgehen, indem Sie die Datei parallel mit mehreren Dateizeigern durchsuchen.