Wir verwenden Couchbase seit etwa zwei Jahren, aber wir haben uns aus vielen Gründen entschieden, zu Amazon DynamoDB zu wechseln.
Jetzt begann ich die Migration von Daten zu Dynamodb. Zuerst war alles in Ordnung und lief wie erwartet, aber nach einiger Zeit wird die Reaktionszeit von Dynamo immer höher und der Migrationsprozess wird mit der Zeit langsamer.
Ich habe versucht, meine Strategien zu ändern, aber ohne Glück.
Was kann ich tun, um die Antwortzeit zu erhöhen?Verbessern Sie die Reaktionszeit von AWS Dynamodb
Grundsätzlich scanne ich eine SQL-Tabelle, die 100 Elemente pro Abfrage erhält, und dann Couchbase anfordert, die Daten, die ich über diese 100 Elemente haben möchte, abzurufen. Zuerst bekam ich hohe Antwortzeiten (wie in der Abbildung unten gezeigt).
Die folgenden Informationen helfen können:
- ich auf einem EC2 Micro-Server die Migration Code leite Ubuntu 14.04 mit Knoten v 4.4.1.
- Nach dem Betrachten der Graphen habe ich angefangen, die Zeit für jede Dynamodb-Anfrage zu messen (also weiß ich nicht, wie der Durchschnitt zuerst war), die durchschnittliche Reaktionszeit beträgt 800 ms für ungefähr 150.000 Anfragen (get & nur setzen, keine Batch - Befehle oder Abfragen)
- Ich speichere die Elemente in zwei Tabellen eine mit ganzzahligen Hash - Schlüssel und die andere ist mit Ganzzahl - Hash - und Sortierschlüssel
- Die zweite Tabelle ist eine riesige (mit etwa 4,4 Millionen Artikel und Zählen)
Sie "scannen eine SQL-Tabelle"? Sie listen jedoch nur Couchbase und DynamoDB auf, bei denen es sich nicht um SQL-Datenbanken handelt. Soll das heißen, dass Sie einen vollständigen Tabellenscan einer DynamoDB-Tabelle durchführen? Es scheint mir, dass Ihr gesamtes Problem einfach darauf zurückzuführen ist, dass der bereitgestellte Durchsatz in der DynamoDB-Tabelle zu niedrig ist. Die bereitgestellten Durchsatzeinstellungen sind wahrscheinlich die wichtigsten Informationen zu dieser Frage, und Sie haben diese Informationen nicht angegeben. –
Aufgrund der Art und Weise, wie unser System entworfen wurde, verwenden wir Mysql und Couchbase kombiniert, in Mysql speichern wir einfache Daten, aber in Couchbase speichern wir das gesamte Json-Objekt. Jetzt wollen wir Couchbase loswerden und zu Dynamodb wechseln. Und wie es im angehängten Bild zeigt, ist der bereitgestellte Durchsatz für diese Tabelle 125 (die rote horizontale Linie) und der konsumierte Durchsatz wird immer niedriger (er begann um 100 und dann auf 20 und dann auf weniger als 5) – Sami
Wenn Sie was haben Wenn Sie einen "Hot Partition Key" kennen, ist Ihre bereitgestellte Kapazität nicht von Bedeutung, da ein einzelner Shard nur N Anfragen verarbeiten kann. – Vor