Wie kann man direkt und effizient auf sehr große Textdateien zugreifen?

Question

Ich habe eine sehr große Textdateien (+ 10GB), die ich für einige Data Mining-Techniken lesen möchte. Um dies zu tun, verwende ich parallele Techniken mit MPI so viele Prozesse können auf die gleiche Datei zugreifen.
Tatsächlich möchte ich, dass jeder Prozess N Anzahl der Zeilen lesen. Da die Datei nicht strukturiert ist (die gleiche Anzahl von Feldern, aber jedes Feld kann unterschiedliche Anzahl von Zeichen enthalten), bin ich in der Pflicht, die Datei zu analysieren, und das ist nicht parallel und es braucht viel Zeit. Gibt es eine Möglichkeit, direkt auf eine bestimmte Anzahl von Zeilen zuzugreifen, um die Zeilen zu analysieren und zu zählen? Vielen Dank für Ihre Hilfe.

Answer 1

Wenn Ihre Datei nicht anderweitig indiziert ist, gibt es keinen direkten Weg.

Indexierung könnte es wert sein (einmal scannen, um alle Zeilenenden zu finden und die Versätze jeder Zeile oder jeden Zeilenabschnitts zu speichern). Wenn Sie die Datei mehrere Male verarbeiten müssen und sich dies nicht ändert, können die Kosten für die Indizierung durch die einfache Verwendung des Index für weitere Durchläufe aufgewogen werden.

Andernfalls, wenn Sie nicht alle Jobs benötigen, genau die gleiche Anzahl von Zeilen/Elemente zu haben, könnten Sie es einfach täuschen.
Suchen Sie nach einem bestimmten Offset (sagen wir 1G) und suchen Sie nach dem nächsten Linientrennzeichen. Wiederholen Sie den Vorgang mit Offset 2G usw., bis Sie genügend Haltepunkte gefunden haben.

Sie können dann Ihre parallelen Aufgaben für jeden der identifizierten Chunks auslösen.

Answer 2

Nein, es gibt nicht: bis Sie Ihre unbekannten Daten nicht lesen, wird niemand wissen, wie viele neue Zeilenzeichen es gibt. Dieses Problem Komplexität ist O (n), was bedeutet, dass mindestens einmal müssen Sie die ganze Datei lesen. Dann sollten Sie eine Indextabelle erstellen, in der Sie aufzeichnen, wo sich neue Zeilenzeichen in Ihrer Datei befinden: Dies kann von allen Prozessen verwendet werden, und mit fseek können Sie den Zugriff drastisch beschleunigen.

Answer 3

Ein paar andere Optionen jenseits dessen, was hier erwähnt wurde, dass das Scannen die gesamte Datei nicht benötigen:

1. einen Master-Prozess machen, die Leitungen über Leitungen/fifos an Kindprozesse schiebt, die die eigentliche Verarbeitung zu tun. Dies mag etwas langsamer sein, aber wenn 90% der Zeit, die in den Teilprozessen verbracht wird, das eigentliche Knirschen von Texten ist, sollte es in Ordnung sein.

2. Ein blöder aber wirkungsvoller Trick: Sagen Sie, dass Sie N Prozesse haben, und Sie können jeden Prozess durch argv oder etwas sagen, dass es "Seriennummer" ist, z. processor -serial_number [1|2|3...N] -num_procs N können alle dieselben Daten lesen, aber nur Zeilen mit lineno % num_procs == serial_number verarbeiten. es ist ein bisschen weniger effizient, weil sie alle die gesamten Daten lesen werden, aber wieder, wenn sie nur auf jeder N-ten Zeile arbeiten, und das ist, was die meiste Zeit verbraucht, sollte es dir gut gehen.