Event Sourcing: Overhead mit Speichern einer großen Menge von Datensätzen im Speicher

Question

Ich bin Event-Sourcing-Architektur implementieren und meine Aggregate wird große Menge an Datensätzen im Speicher enthalten. Um zu testen, wie gut .NET speichert große Menge von Datensätzen im Speicher, habe ich ein einfaches Programm:

static void Main(string[] args) 
    { 
     Dictionary<string, object> dict = new Dictionary<string, object>(); 

     int maxRecords = 100000000; 

     for (int i = 0; i < maxRecords; i++) 
     { 
      dict.Add(i.ToString(), new String('A', 10)); 
     } 

     Console.WriteLine("Done"); 

     Console.ReadLine(); 
    } 

In der Konfigurationsdatei, die ich habe:

<runtime> 
    <gcAllowVeryLargeObjects enabled="true" /> 
    </runtime> 

Also ich bin zu speichern 100 Millionen Datensätze und jeder Datensatz ist 10 Bytes (sagen wir 20, weil es wahrscheinlich Unicode ist). So speichere ich etwa 2 GB Daten im Speicher. Die Anwendung wächst jedoch auf 15 GB.

1. Idealerweise würde ich gerne Dinge in einem IDictionary speichern. Kann ich etwas tun, um den Overhead zu reduzieren?

2. Wenn jemand an einer Event-Sourcing-Architektur gearbeitet hat, die große Datenmengen im Speicher speichert, teilen Sie uns bitte Ihre Erfahrung damit mit und wie Sie Ihre Aggregate strukturiert haben.

Answer 1

Klassische Lösung für diese Frage steht in der Regel auf zwei Punkte:

• richtigen Aggregate wählen Wurzel, so Zustand, wer von ihnen klein sein wird. Da die Kommunikation zwischen Aggregaten nicht zulässig ist, sollten Sie für die Ausführung eines unitären Befehls nur einen kleinen Status für einen Aggregatstamm laden. Es kann leicht abgerufen werden durch eine asynchrone Abfrage aus der Datenbank

• Speichern Sie die Abfrageseite auf vielen verschiedenen Sammlungen, jedes Element auf es ist durch Dokument-ID getrennt. So muss Ihr Systemprozess nicht dauerhaft gespeichert werden.