2016-07-19 14 views
0

Ich bin sehr neu in AWS, und ich habe einen Anwendungsfall, wo ich große Datenmengen speichern müssen - ca. 60 GB. Ich muss auch Datensätze in diesen Daten nach einem ID-Parameter suchen. Welcher Datenspeicher oder Datenbankservice wäre für eine schnelle Suche empfehlenswert?Benötigen Datenspeicher Empfehlung

+0

Wenn Sie mehr Informationen zur Verfügung stellen können, werden wir eher eine entsprechende Empfehlung geben. Zum Beispiel: Welches Format haben die Daten (Text, CSV, JSON, XML)? Sind die Daten in einer einzigen Datei oder vielen Dateien? Ist die Suche nur über eine einzige ID? Wie groß ist jeder Datensatz? Wie schnell brauchen Sie? Wie werden Sie auf die Daten zugreifen (zB über eine Anwendung? Welche Sprache?) –

+0

Danke für die Antwort! – user3740951

+0

Die Daten befinden sich derzeit in einer Textdatei, in der Datensätze durch Zeilenumbrüche getrennt sind und Felder in einem Datensatz durch ein Komma getrennt sind. Aber ich dachte, wir könnten es in eine Datenbank migrieren. Die Daten befinden sich derzeit in mehreren Dateien. Aber auch dies kann alles in die gleiche Datenbank migriert werden. Die Suche erfolgt mit einer einzigen ID. Jeder Datensatz ist in der Nähe von 100 Bytes. Jeder Datensatz hat 5 Felder. Auf die Daten muss von einer Java-Anwendung in AWS zugegriffen werden. Vielen Dank im Voraus! – user3740951

Antwort

0

Es gibt mehrere Datenspeicherdienste auf AWS:

Relationale Datenbanken

  • Amazon RDS (Relational Database Service) bietet eine vollständig verwaltete, traditionelle SQL-Datenbank unter Verwendung von entweder MySQL, MariaDB , PostgreSQL, Oracle oder Microsoft SQL Server.
  • Um sie schnell zu machen, setzen Sie einen Primärschlüssel auf das Feld, das Sie verwenden möchten, um Datensätze zu identifizieren, die über dieses Feld in einer WHERE-Anweisung abgerufen werden
  • Amazon Redshift ist ein Data Warehouse - es kann TB und sogar PB von Daten verarbeiten und ist sehr schnell über große Datenmengen. Es wird jedoch wahrscheinlich für Ihre relativ einfachen Anforderungen übertrieben sein.

nicht-relationale Datenbanken

  • Amazon DynamoDB ist eine vollständig verwaltete NoSQL-Datenbank, die eine genaue Zahl konfiguriert werden kann, schaffen, von Lese- und Schreibvorgänge pro Sekunde
  • Es ist nicht Unterstützen Sie SQL, aber wenn Sie nur Daten über eine eindeutige ID speichern und abrufen möchten, ist dies definitiv eine der schnellsten Möglichkeiten (und Sie können die Geschwindigkeit nach Bedarf ändern)
  • Amazon S3 kann auch als Schlüsselwertspeicher betrachtet werden, in dem Daten in Dateien gespeichert werden - der Schlüssel ist der Dateiname und der Wert ist der Inhalt der Datei. Nicht unbedingt so schnell wie DynamoDB aber auf jeden Fall billiger, da Sie keine Datenbank
  • Amazon ElastiCache Daten im RAM auf „run“ brauchen hält, so würde es sehr schnell sein. 60 GB Speicherplatz benötigen jedoch Computer mit viel RAM.
+0

Danke! Das hilft sehr! – user3740951