Weist madvise (___, ___, MADV_DONTNEED) das Betriebssystem an, auf Festplatte zu schreiben?

Question

Hypothetisch angenommen, ich möchte das sequentielle Schreiben in eine potenziell sehr große Datei ausführen.

Wenn ich eine riesige Region (madv_SEQUENTIAL) auf diese gesamte Region mmap(), dann kann ich in den Speicher in einer relativ effizienten Weise schreiben. Das habe ich gut gemacht.

Jetzt, um verschiedene OS-Ressourcen freizugeben, während ich schreibe, führe ich gelegentlich eine munmap() auf kleine Teile des Speichers, die bereits geschrieben wurden. Meine Sorge ist, dass munmap() und msync() meinen Thread blockieren und darauf warten, dass die Daten physisch auf die Festplatte übertragen werden. Ich kann meinen Autor überhaupt nicht verlangsamen, also muss ich einen anderen Weg finden.

Wäre es besser, madvise (MADV_DONTNEED) auf dem kleinen, bereits beschriebenen Speicherbereich zu verwenden? Ich möchte dem Betriebssystem mitteilen, dass es diesen Speicher langsam auf die Festplatte schreiben soll, und nicht, um meinen aufrufenden Thread zu blockieren.

Die manpage auf madvise() hat dies zu sagen, welche eher zweideutig ist:

MADV_DONTNEED 
Do not expect access in the near future. (For the time being, the 
application is finished with the given range, so the kernel can free 
resources associated with it.) Subsequent accesses of pages in this 
range will succeed, but will result either in re-loading of the memory 
contents from the underlying mapped file (see mmap(2)) or 
zero-fill-on-demand pages for mappings without an underlying file. 

Answer 1

erstes, madv_sequential ermöglicht aggressiven readahead, so dass Sie es nicht brauchen. Sekunde, OS wird träge Datei-gebackene Speicher sowieso auf Festplatte schreiben, auch wenn Sie nichts tun werden. aber madv_dontneed wird es anweisen, Speicher sofort freizugeben (was Sie "verschiedene os-Ressourcen" nennen). drittens ist es nicht klar, dass das Mapping von Dateien zum sequentiellen Schreiben einen Vorteil hat. Sie werden wahrscheinlich besser bedient werden, indem Sie einfach schreiben (2) (aber verwenden Sie Puffer - entweder manuell oder stdio).

Answer 2

Nein!

Für Ihr eigenes Gut, bleiben Sie weg von MADV_DONTNEED. Linux wird nicht nehmen Sie dies als einen Hinweis, um Seiten wegzuschmeißen, nachdem Sie sie zurück geschrieben haben, sondern um sie sofort wegzuwerfen. Dies ist kein Fehler, sondern eine bewusste Entscheidung.

Ironischerweise die Argumentation ist, dass die Funktionalität einer zerstörungs MADV_DONTNEED bereits durch msync(MS_INVALIDATE|MS_ASYNC) gegeben ist, MS_ASYNC auf der anderen Seite nicht startet I/O (in der Tat macht es gar nichts, nach der Argumentation, dass schmutzig Seite Writeback funktioniert trotzdem gut), fsync blockiert immer, und sync_file_rangekann blockieren, wenn Sie einige obskure Grenze überschreiten und gilt als "extrem gefährlich" durch die Dokumentation, was auch immer das bedeutet.

So oder so, müssen Sie msync(MS_SYNC) oder fsync (beide Blockierung) oder sync_file_range (möglicherweise Blockierung) von fsync gefolgt, oder Sie wird verlieren Daten mit MADV_DONTNEED. Wenn Sie es sich nicht leisten können zu blockieren, haben Sie leider keine andere Wahl, als dies in einem anderen Thread zu tun.