Schließlich konsistente MNS-Datenbank mit Erlang. Best Practice jemand?

Question

Ich schreibe einen BitTorrent-Tracker in Erlang. Angesichts der Art des Dienstes, Ich brauche keine absolute Konsistenz (dh ein Client kann mit einer etwas veralteten Liste von Peers oder Torrent-Status vollkommen zufrieden sein).

Meine Strategie war bisher, mnesia-Tabellen im RAM mit disc_copies zu erstellen, so dass mnesia automatisch den Speicher auf die Festplatte ablegt, wenn die Größe des Protokolls eine bestimmte Größe überschreitet.

Wenn der Server abstürzt, gehen einige Informationen verloren. Keine große Sache.

Ein anderer Ansatz wäre, zwei Tabellen (nur ein RAM und nur eine Platte) zu instanzieren und jede Minute eine Prozesskopie von RAM auf Platte zu erstellen. Dies ist naiv, würde aber erlauben, nur eine Teilmenge dessen, was im Speicher ist, zu dumpen, den Overhead der gesamten Platte zu reduzieren und möglicherweise die Verwendung eines Protokolls insgesamt zu vermeiden (ich bin mir bei dieser letzten Aussage eigentlich nicht sicher).

Ich bin sicher, es gibt viele andere Möglichkeiten, dies zu tun. Welches ist deines?

-teo

Answer 1

Hier ist ein Projekt, das Sie http://github.com/jlouis/etorrent/tree/master interessieren könnten.

Answer 2

Sie können zur Kasse gehen redis & erldis. Redis nimmt den zweiten Ansatz: Alles wird im Speicher gespeichert und dann regelmäßig auf die Festplatte ausgegeben.

Answer 3

Dies ist sicherlich nicht in Bezug auf Ihre ursprüngliche Frage off-topic, aber wenn Sie wirklich eine reine Tracker schreiben, dann ist es am besten auf Persistenz vollständig verzichten und halten Sie die Daten ausschließlich im Speicher.

Für einen minimalen Tracker wiegt eine Ankündigung nur wenige Bytes: 16 Byte für den SHA1-Hash, 6 Byte für die IP und den Port des Peers und einige weitere Bytes, da Sie einen Zeitstempel als Gut. Aber selbst mit ein wenig Overhead können Sie buchstäblich Millionen von Datensätzen im Speicher halten.