Wir müssen Millionen von Schlüsseln/Werten in Apache Geode laden und wir würden gerne wissen, welche Optionen verfügbar sind. Unsere Werte liegen bei 256kb.Welche Möglichkeiten gibt es, Daten in Apache Geode (Gemfire) zu laden?
Es gibt mehrere Optionen, je nach den Anforderungen Ihrer Anwendung/SLAs oder ob Sie brauchen Konvertierung oder andere Transformationen durchzuführen, usw.
Out-of-the-box, Apache Geode die Cache & Region Snapshot Service bietet. Dies ist nützlich, wenn Sie beispielsweise Daten von einem vorhandenen Apache Geode-Cluster zu einem anderen migrieren möchten. Nicht so nützlich, wenn Ihre Daten von einer externen Quelle stammen, z. B. einem RDBMS.
Eine andere Möglichkeit ist es, die Daten nach Bedarf zu laden. Dies kann durch Implementieren der CacheLoader interface und registering der CacheLoader mit einer Region erreicht werden. Offensichtlich können Sie eine CacheLoader Implementierung erstellen, die einen Datenblock basierend auf einigen Regeln/Kriterien intelligent lädt und zusätzlich den einzelnen Interessenwert basierend auf den aktuellen Anforderungen lädt und zurückgibt.
Viele Male erstellen Benutzer einen externen, benutzerdefinierten Konvertierungsprozess oder ein Tool zum Extrahieren, Transformieren und Massenladen (ETL) einer Reihe von Daten in Apache Geode. Dies ist typisch für komplexe Anwendungsfälle oder Anforderungen. Allerdings ist es sehr ratsam, vielleicht einen Rahmen/Werkzeug zu benutzen, wie ...
Spring XD (jetzt Spring Cloud Data Flow auf Pivotal Cloud Foundry (PCF)) ist groß ETL-Tool und die Pipeline für die Erstellung von Stream-basierten Anwendungen. Spring XD/SCDF stellt viele verschiedene Optionen für "sources" und "sinks" (z. B. GemFire Server) bereit. Neben Quellen & Senken können Sie sogar den Stream "tippen", um die Daten mit "Processors" zu verarbeiten. Unabhängig davon, ob es sich um Echtzeitdatenströme oder um Batch-orientierte Datenoperationen (z. B. Massenlasten) handelt, ist Spring XD eine großartige Option.
Ich bin sicher, Google könnte andere Antworten auf, wie man ETL mit einem KeyValue-Speicher wie Apache Geode durchführen.
Hoffe, das hilft Ihnen dabei.
Prost, John