Wie man eine schnelle formatierte Eingabe von einem Strom in C++ durchführt?

Die Situation ist: Es gibt eine Datei mit 14 294 508 vorzeichenlosen Ganzzahlen und 13 994 397 Gleitkommazahlen (müssen double s lesen). Die Gesamtgröße der Datei beträgt ~ 250 MB.Wie man eine schnelle formatierte Eingabe von einem Strom in C++ durchführt?

Die Verwendung von std::istream dauert ~ 30sec. Das Lesen der Daten von Datei zu Speicher (nur das Kopieren von Bytes ohne formatierte Eingabe) ist viel schneller. Gibt es eine Möglichkeit, die Lesegeschwindigkeit zu verbessern, ohne das Dateiformat zu ändern?

Quelle

2009-03-15 Andrew T

Ich denke, Sie sollten Ihre Schleife Code – Ben

Wenn dies MSVC-Bibliotheken ist, möchten Sie möglicherweise untersuchen, wie viel Strafe Sie von SECURE_SCL entstehen (standardmäßig aktiviert). Achten Sie jedoch darauf, die Auswirkungen des Ausschaltens zu verstehen. – Functastic

Entschuldigung, das sollte sein: _SECURE_SCL – Functastic

Müssen Sie STL-Style-I/O verwenden? Sie müssen this ausgezeichnete Arbeit von einem der Experten überprüfen. Es ist eine spezialisierte iostream von Dietmar Kuhl.

Ich hasse es, dies vorzuschlagen, aber werfen Sie einen Blick auf die C-formatierten I/O-Routinen. Liest du die ganze Datei auf einmal?

Quelle

2009-03-15 21:07:55 dirkgently

Syntax und Ansatz ist egal :) Und ja, ich lese die ganze Datei. –

Haben Sie fscanf und Freunde ausprobiert? Ich würde sagen, geben Sie einen Schuss und messen Sie. – dirkgently

Sie könnten auch an Matthew Wilson FastFormat Bibliothek aussehen wollen:

http://www.fastformat.org/

ich es nicht benutzt haben, aber er macht einige ziemlich beeindruckende Ansprüche und ich habe viel gefunden seiner anderen Arbeit lohnt es sich zu studieren und zu benutzen (und gelegentlich zu stehlen).

Quelle

2009-03-15 21:53:44

Unterstützt es formatierte Eingabe? –

Mist - Sie haben Recht ... Es ist nur Ausgabeformatierung. –

Vielleicht können die Techniken auf Eingabe angewendet werden – dcw

Sie haben das Format nicht angegeben. Es ist möglich, dass Sie eine Speicherzuordnung vornehmen oder sehr große Abschnitte lesen und in einem Stapelalgorithmus verarbeiten können.

Sie haben auch nicht gesagt, ob Sie sicher wissen, dass die Datei und der Prozess, die es lesen, auf der gleichen Plattform sein werden. Wenn ein Big-Endian-Prozess es schreibt und ein Little-Endian-Prozess es liest oder umgekehrt, wird es nicht funktionieren.

Quelle

2009-03-16 09:00:20 dcw

Parsing Eingabe von Ihnen selbst (atoi & Atof), in der Regel erhöht die Geschwindigkeit mindestens zweimal, im Vergleich zu "universellen" Lese-Methoden.

Quelle

2009-03-17 11:51:05 n0rd

etwas schnell und schmutzig ist, nur String ++ die Datei in einen Standard-C-Dump, und dann einen string auf mich aus:

#include <sstream> 
// Load file into string file_string 
std::stringstream s(file_string); 
int x; float y; 
s >> x >> y;

Dies können Sie nicht viel von einer Leistungssteigerung (Sie werden eine bekommen größere Beschleunigung durch die Vermeidung von Iostreams), aber es ist sehr einfach zu versuchen, und es kann schneller genug sein.

Quelle

2009-03-22 10:38:14 AHelps

Wie man eine schnelle formatierte Eingabe von einem Strom in C++ durchführt?

Antwort

Verwandte Themen