Sucht und große Dateien in einem Linux-C Lesen ++ Anwendung

Question

ich in Integer-Überlauf am Laufen, aber ich glaube, ich war falsch, weil es scheint, dass ftell64 und fseek64 sind nicht verfügbar. Ich habe gesucht und viele Websites scheinen mit lseek mit dem off64_t-Datentyp zu referenzieren, aber ich habe keine Beispiele gefunden, die auf etwas verweisen, das fseek entspricht. Im Moment sind die Dateien, die ich lese, 16GB + CSV-Dateien mit der Erwartung von mindestens doppelt so viel.

Ohne externe Bibliotheken, was ist die einfachste Methode, um eine ähnliche Struktur wie mit dem fseek/ftell Paar zu erreichen? Meine Anwendung arbeitet jetzt mit den Standard-GCC/G ++ - Bibliotheken für 4.x.

Answer 1

fseek64 ist eine C-Funktion. Um es verfügbar zu machen, müssen Sie _FILE_OFFSET_BITS = 64 definieren, bevor Sie die System-Header einfügen, die mehr oder weniger definieren, dass fseek tatsächlich fseek64 ist. Oder mach es in den Compiler-Argumenten z.B. gcc -D_FILE_OFFSET_BITS = 64 ....

http://www.suse.de/~aj/linux_lfs.html hat eine große overviw von Unterstützung für große Dateien auf Linux:

• Kompilieren Sie Ihre Programme mit "gcc -D_FILE_OFFSET_BITS = 64". Dies zwingt alle Dateizugriffsaufrufe, die 64-Bit-Varianten zu verwenden. Verschiedene Arten ändern sich auch, z. off_t wird off64_t. Es ist daher wichtig, immer die richtigen Typen zu verwenden und z. int statt off_t. Für die Portabilität mit anderen Plattformen sollten Sie getconf LFS_CFLAGS verwenden, das auf Linux-Plattformen -D_FILE_OFFSET_BITS = 64 zurückgibt, aber etwas anderes z. Solaris. Zum Verknüpfen sollten Sie die Link-Flags verwenden, die über getconf LFS_LDFLAGS gemeldet werden. Auf Linux-Systemen benötigen Sie keine speziellen Link-Flags.
• Definieren Sie _LARGEFILE_SOURCE und _LARGEFILE64_SOURCE. Mit diesen Definitionen können Sie die LFS-Funktionen wie open64 direkt verwenden.
• Verwenden Sie das O_LARGEFILE-Flag mit open, um mit großen Dateien zu arbeiten.

Answer 2

fseek64() ist kein Standard, die Compiler-Dokumentation sollte Ihnen sagen, wo Sie es finden können.

Haben Sie versucht fgetpos und fsetpos? Sie sind für große Dateien ausgelegt, und die Implementierung verwendet normalerweise einen 64-Bit-Typ als Basis für fpos_t.

Answer 3

Verwenden Sie fsetpos(3) und fgetpos(3). Sie verwenden den fpos_t-Datentyp, von dem ich glaube, dass er garantiert mindestens 64 Bit halten kann.

Answer 4

Haben Sie fseeko() mit den _FILE_OFFSET_BITS Präprozessorsymbol versuchten 64 zu gesetzt?

Dies wird Ihnen ein fseek() -artige Schnittstelle aber mit einem Offset-Parameter des Typs off_t statt lange. Einstellung _FILE_OFFSET_BITS = 64 macht off_t einen 64-Bit-Typ.Das gleiche gilt für ftello().

Answer 5

Wenn Sie ISO-C-Standardschnittstellen verwenden möchten, verwenden Sie fgetpos() und fsetpos(). Diese Funktionen sind jedoch nur nützlich, um eine Dateiposition zu speichern und später zur selben Position zurückzukehren. Sie repräsentieren die Position mit dem Typ fpos_t, der kein Integer-Datentyp sein muss. Zum Beispiel könnte es in einem datensatzbasierten System eine Struktur sein, die eine Datensatznummer und einen Offset innerhalb des Datensatzes enthält. Dies kann zu einschränkend sein.

POSIX definiert die Funktionen ftello() und fseeko(), die die Position mit dem Typ off_t darstellen. Dies muss ein Ganzzahl-Typ sein, und der Wert ist ein Byte-Offset vom Anfang der Datei. Sie können sie arithmetisch ausführen und fseeko() verwenden, um relative Suchvorgänge auszuführen. Dies funktioniert auf Linux und anderen POSIX-Systemen.

Zusätzlich kompilieren Sie mit -D_FILE_OFFSET_BITS=64 (Linux/Solaris). Dies definiert off_t als 64-Bit-Typ (d. H. off64_t) anstelle von long und definiert die Funktionen neu, die Dateioffsets als Versionen mit 64-Bit-Offsets verwenden. Dies ist der Standardwert, wenn Sie für 64-Bit kompilieren, also in diesem Fall nicht benötigt wird.