Ich bin sehr neu in AWS, und ich habe einen Anwendungsfall, wo ich große Datenmengen speichern müssen - ca. 60 GB. Ich muss auch Datensätze in diesen Daten nach einem ID-Parameter suchen. Welcher Datenspeicher oder Datenbankservice wäre für eine schnelle Suche empfehlenswert?Benötigen Datenspeicher Empfehlung
0
A
Antwort
0
Es gibt mehrere Datenspeicherdienste auf AWS:
Relationale Datenbanken
- Amazon RDS (Relational Database Service) bietet eine vollständig verwaltete, traditionelle SQL-Datenbank unter Verwendung von entweder MySQL, MariaDB , PostgreSQL, Oracle oder Microsoft SQL Server.
- Um sie schnell zu machen, setzen Sie einen Primärschlüssel auf das Feld, das Sie verwenden möchten, um Datensätze zu identifizieren, die über dieses Feld in einer WHERE-Anweisung abgerufen werden
- Amazon Redshift ist ein Data Warehouse - es kann TB und sogar PB von Daten verarbeiten und ist sehr schnell über große Datenmengen. Es wird jedoch wahrscheinlich für Ihre relativ einfachen Anforderungen übertrieben sein.
nicht-relationale Datenbanken
- Amazon DynamoDB ist eine vollständig verwaltete NoSQL-Datenbank, die eine genaue Zahl konfiguriert werden kann, schaffen, von Lese- und Schreibvorgänge pro Sekunde
- Es ist nicht Unterstützen Sie SQL, aber wenn Sie nur Daten über eine eindeutige ID speichern und abrufen möchten, ist dies definitiv eine der schnellsten Möglichkeiten (und Sie können die Geschwindigkeit nach Bedarf ändern)
- Amazon S3 kann auch als Schlüsselwertspeicher betrachtet werden, in dem Daten in Dateien gespeichert werden - der Schlüssel ist der Dateiname und der Wert ist der Inhalt der Datei. Nicht unbedingt so schnell wie DynamoDB aber auf jeden Fall billiger, da Sie keine Datenbank
- Amazon ElastiCache Daten im RAM auf „run“ brauchen hält, so würde es sehr schnell sein. 60 GB Speicherplatz benötigen jedoch Computer mit viel RAM.
+0
Danke! Das hilft sehr! – user3740951
Verwandte Themen
- 1. Benötigen Sie eine Empfehlung zum Impressions-Tracking
- 2. Schienen 3 CMS Empfehlung
- 3. AOP und benutzerspezifischer Datenspeicher
- 4. Android - Datenspeicher?
- 5. Benötigen Sie eine Perforce-DVCS-Empfehlung: git-p4, hg Perfarce oder etwas anderes?
- 6. Smalltalk Lernprojekt: Irgendeine Empfehlung?
- 7. Einfacher Vorschlag/Empfehlung Algorithmus
- 8. Wörterbuch webservice empfehlung
- 9. Tag/Schlagwort basierte Empfehlung
- 10. Abfrage-Empfehlung mit Elasticsearch
- 11. Mongodb/Mongoose PoolGröße Empfehlung
- 12. Empfehlung für Galerie-Skript
- 13. jQuery Farbauswahl Empfehlung
- 14. .NET SOA kommerzielle Empfehlung
- 15. 8051 Mikrocontroller Kit Empfehlung?
- 16. Empfehlung verschiedene Größen
- 17. Inter-Process Communication Empfehlung
- 18. HTTP Buch Empfehlung?
- 19. MYSQL und GPL Empfehlung?
- 20. Empfehlung für Rolle Gem
- 21. Ruby Email Client Empfehlung
- 22. PEP8 E226 Empfehlung
- 23. Grund Empfehlung Motor Algorithmus
- 24. Grails Cloud-Hosting-Empfehlung
- 25. Rails Authentifizierung Plugin Empfehlung
- 26. Projekte Ordnerstruktur Empfehlung
- 27. Autowiring HibernateInterceptor als Empfehlung
- 28. Jquery Auto-Vervollständigen-Empfehlung
- 29. NoSQL Empfehlung für ein Projekt (Text-Streaming)
- 30. Google App Engine-Datenspeicher nicht unterstützt Operator +
Wenn Sie mehr Informationen zur Verfügung stellen können, werden wir eher eine entsprechende Empfehlung geben. Zum Beispiel: Welches Format haben die Daten (Text, CSV, JSON, XML)? Sind die Daten in einer einzigen Datei oder vielen Dateien? Ist die Suche nur über eine einzige ID? Wie groß ist jeder Datensatz? Wie schnell brauchen Sie? Wie werden Sie auf die Daten zugreifen (zB über eine Anwendung? Welche Sprache?) –
Danke für die Antwort! – user3740951
Die Daten befinden sich derzeit in einer Textdatei, in der Datensätze durch Zeilenumbrüche getrennt sind und Felder in einem Datensatz durch ein Komma getrennt sind. Aber ich dachte, wir könnten es in eine Datenbank migrieren. Die Daten befinden sich derzeit in mehreren Dateien. Aber auch dies kann alles in die gleiche Datenbank migriert werden. Die Suche erfolgt mit einer einzigen ID. Jeder Datensatz ist in der Nähe von 100 Bytes. Jeder Datensatz hat 5 Felder. Auf die Daten muss von einer Java-Anwendung in AWS zugegriffen werden. Vielen Dank im Voraus! – user3740951