Linux-Dateisystem automatisch von Festplatte gesichert, aber vollständig im Speicher gehostet?

Question

Ich habe viele kleine zufällige Zugriffe auf eine ganze Reihe von Dateien zu tun. Ich habe mehr als genug Hauptspeicher, um alle Daten zu speichern.

Wenn ich die Daten in ein temporäres ramfs-Dateisystem übertrage und es dort verarbeite, dauert dies nur einen kleinen Bruchteil der Zeit, die auf den Festplattenzugriff warten würde.

Gibt es ein Linux-Dateisystem, das alle seine Daten im Hauptspeicher enthält, schreibt alle Änderungen an einer Sicherungsdiskette, aber berührt nie die Festplatte für Lesevorgänge?

Wenn nicht, können, sagen wir, ext3-Caches so eingestellt werden, dass sie garantiert 100% der Daten und Metadaten enthalten?

Answer 1

Warum versuchen Sie nicht, einen RAID-Spiegel zwischen einer Ramdisk und einer physischen Festplatte zu erstellen?

Nicht sicher, ob es effizient ist. Wenn der Spiegel immer synchronisiert werden muss, muss er beim Schreiben auf die Festplatte warten, aber zum Lesen sollten Sie etwas gewinnen. Aber yeah, für mich sieht es sehr kompliziert aus, Rad neu erfundenes IO-Caching :)

Wäre aber ein schönes Experiment.

Answer 2

Wenn Sie nur Daten lesen, dann können Sie in der Tat stimmen Caching, so dass alle Daten im RAM zwischengespeichert werden - siehe/usr/src/linux/Documentation/sysctl/ fs.txt vm.txt für Details Was können Sie hier optimieren? Das Problem tritt auf, wenn Sie Daten schreiben, insbesondere wenn Sie fsync() oder ähnliches verwenden, um sicherzustellen, dass die Daten an die tatsächliche Festplatte übertragen wurden.

Da das OS hat die Festplatte im Falle eines fsync() zu aktualisieren, gibt es nicht viel können Sie tun, wenn Sie noch Ihre Daten consistant sicherstellen wollen, und nicht in einem Stromausfall verloren gehen würde.

Ein Problem, das möglicherweise auftritt, ist die atime oder Zugriffszeit - standardmäßig wird bei jedem Zugriff auf eine Datei die Zugriffszeit im Inode aktualisiert. Dies führt zu Laufwerkschreibvorgängen, auch wenn Sie glauben, dass Sie gerade Lesevorgänge ausführen. Dies kann ein besonderes Problem in Ihrem Szenario sein, in dem Sie auf viele kleine Dateien zugreifen. Wenn Sie die Zugriffszeit nicht verfolgen möchten, können Sie Ihr Dateisystem mit der noatime mounten, um diese "Funktion" zu deaktivieren.

Answer 3

werfen Sie einen Blick auf diese:

http://freecode.com/articles/virtual-filesystem-building-a-linux-filesystem-from-an-ordinary-file

Sie eine Datei als FS in eine RAM-Disk mounten kann, dann Backup als Datei.

Sie sind nicht sicher, ob Sie häufig Daten sichern möchten, aber es ist eine gute Lösung, um alle virtuellen Laufwerke gleichzeitig zu speichern.