C++ - Hochleistungs-Datei lesen und schreiben (C++ 14)

Question

Ich schreibe ein C++ 14-Programm, um Textzeichenfolgen aus einer Datei zu laden, einige Berechnungen an ihnen durchzuführen und in eine andere Datei zurückzuschreiben. Ich benutze Linux und die Dateien sind relativ groß (O (10^6 Zeilen)). Mein typischer Ansatz dazu ist die Verwendung der alten C getline und sscanf Dienstprogramme zum Lesen und Parsen der Eingabe und fprintf(FILE*, …) zum Schreiben der Ausgabedateien. Das funktioniert, aber ich frage mich, ob es einen besseren Weg mit den Zielen der hohen Leistung und allgemein empfohlenen Annäherung mit dem modernen C++ - Standard gibt, den ich verwende. Ich habe gehört, dass iostream ziemlich langsam ist; Wenn das stimmt, frage ich mich, ob es einen empfohlenen Ansatz gibt.

Update: Um ein wenig über den Anwendungsfall zu verdeutlichen: Für jede Zeile der Eingabedatei mache ich einige Textmanipulationen (Datenbereinigung, etc.). Jede Zeile ist unabhängig. Es scheint also am sinnvollsten zu sein, die gesamte Eingabedatei (oder zumindest große Teile davon) zu laden und Zeile für Zeile zu verarbeiten und dann zu schreiben. Die ideale Abstraktion dafür wäre, einen Iterator in den eingelesenen Puffer zu bekommen, wobei jede Zeile ein Eintrag ist. Gibt es eine empfohlene Möglichkeit, dies mit Std :: Ifstream zu tun?

Answer 1

Die schnellste Option, wenn Sie über den Speicher verfügen, ist das Lesen der gesamten Datei in einen Puffer mit 1 Lesen, Verarbeiten des Puffers im Speicher und erneutes Schreiben mit 1 Schreibvorgang.

es Alles lesen:

std::string buffer; 

std::ifstream f("file.txt"); 
f.seekg(0, std::ios::end); 
buffer.resize(f.tellg()); 
f.seekg(0); 
f.read(buffer.data(), buffer.size()); 

Dann verarbeiten es

es dann schreiben alle:

std::ofstream f("file.txt"); 
f.write(buffer.data(), buffer.size());