2017-02-27 3 views
0

Ich möchte mehr als eine Million Datensätze (~ 50 GB) speichern, die sich im unteren Schlüsselwertformat befinden. Was sind die besten Wege dazu mit nur 16 GB RAM?Java-Map zum Speichern von Millionen Datensätzen

Key: abc_1234 (randomly generated for each record) 
Value: { 
    name: "abc" 
    number: 4 
    add: "ads asf" 
} 
+11

Eine Datenbank? ... – assylias

+0

Eine Schlüssel-Wert-Datenbank (Kassandra, etc.)? :) – rvit34

+0

Möglicher Hinweis http://stackoverflow.com/questions/28675644/java-caching-frameworks-for-maintaining-huge-data – LazerBanana

Antwort

1

Da Sie nur 16 GB RAM haben, müssen Sie die Datensätze auf der Festplatte speichern und auf sie als Stream zugreifen. Sie können dies tun, indem Sie sie in eine Datei wie eine Klartextdatei oder eine Datenbank schreiben.

Eine Art der Datenbank, die Sie verwenden könnten, ist SQLite

Verwandte Themen