pread für sehr große Dateien

Question

ich eine große Datei lese pread wie folgt verwendet:

ssize_t s = pread(fd, buff, count, offset); 
if (s != (ssize_t) count) 
    fprintf(stderr, "s = %ld != count = %ld\n", s, count); 
assert(s == (ssize_t) count); 

Der obige Code ist für kleine Dateien (bis zu 1,5 GB) fein gearbeitet. Bei großen Dateigrößen weicht die zurückgegebene Anzahl der Bytes jedoch von der erwarteten Anzahl ab.

Insbesondere für 2,4 GB Dateigröße, meine count wird auf 2520133890 und die Behauptung nicht mit den fprintf sagen:

s = 2147479552 != count = 2520133890

Was diese rätselhaft macht, ist, dass ich auf einem 64- arbeiten Bit-System und daher sizeof(ssize_t) = 8.

Was ist die Ursache für diesen Fehler und wie behebe ich dies, damit ich die gesamte Datei auf einmal lesen kann?

Answer 1

Sieht aus wie Sie Linux verwenden, und magische Zahl Rückkehr von pread ist 2147479552 = 0x7ffff000, so lautet die Antwort in man 2 read:

Unter Linux read() (und ähnliche Systemaufrufe) übertragen bei die meisten 0x7ffff000 (2.147.479.552) Bytes und geben die Anzahl der tatsächlich übertragenen Byte zurück. (Dies trifft sowohl auf 32-Bit- und 64-Bit- Systemen.)

Sie müssen also mindestens zweimal pread rufen Sie Ihre Daten zu erhalten, diese Einschränkung nicht im Zusammenhang mit _FILE_OFFSET_BITS=64, O_LARGEFILE, sizeof(off_t) und etc Dinge, diese Einschränkung wird durch rw_verify_area in linux-Kernel erstellen:

/* 
* rw_verify_area doesn't like huge counts. We limit 
* them to something that fits in "int" so that others 
* won't have to do range checks all the time. 
*/ 
int rw_verify_area(int read_write, struct file *file, const loff_t *ppos, size_t count) 
... 
return count > MAX_RW_COUNT ? MAX_RW_COUNT : count; 

#define MAX_RW_COUNT (INT_MAX & PAGE_CACHE_MASK)

Answer 2

Aus Ihrer Beschreibung geht hervor, dass Sie einen 32-Bit-Build erstellen und die Large File Support (LFS) nicht aktiviert haben. Dazu müssen Sie das Makro _FILE_OFFSET_BITS auf den Wert 64 setzen.

Also, überprüfen Sie bitte, dass Sie wirklich eine 64-Bit-Build wie Sie sagen .. EDIT: Ok, ich glaube dir verwenden tatsächlich ein 64-Bit-System.

Ich denke, die richtige Ursache für Ihr Problem, wie in der Antwort https://stackoverflow.com/a/36568630/75652 hingewiesen, wird in der gelesen (2) man-Seite erläutert: http://man7.org/linux/man-pages/man2/read.2.html. Um dies zu umgehen, müssen Sie Code wie

    bytes_left = count; 
    while (bytes_left > 0) 
    { 
     trans = pread (fd, buff, bytes_left, offset); 
     if (trans == -1) 
     { 
      if (errno == EINTR) 
      continue; 
      else 
      return trans; 
     } 
     buf += trans; 
     bytes_left -= trans; 
     offset += trans; 
    } 

    return count - bytes_left;