Empfohlene Methode zum Lesen einer ganzen Tabelle (Lambda, DynamoDB/S3)

Question

Ich bin neu in AWS und arbeite an einer Serverless-Anwendung, bei der eine Funktion eine große Datenmenge lesen muss. Niemals wird ein einzelnes Element aus der Tabelle gelesen, aber alle Elemente werden routinemäßig durch eine Zeitplanfunktion aktualisiert.

Was ist Ihre Empfehlung für den effizientesten Umgang mit diesem Szenario? Meine aktuelle Implementierung verwendet den scan-Vorgang in einer DynamoDB-Tabelle, aber mit meiner begrenzten Erfahrung bin ich nicht sicher, ob dies in der Produktion performant sein wird. Wäre es besser, die Daten vielleicht als eine JSON-Datei auf S3 zu speichern? Und wenn ja, wäre es so einfach, die Werte mit einer Zeitplanfunktion zu aktualisieren?

Danke für Ihre Zeit.

PS: eine Vorstellung von der Größe der Datenbank zu geben, wird es ~ 1500 Elemente sein, die jeweils eine Reihe von bis zu ~ 100 Saiten

Answer 1

Hier ist, wie ich tun würde enthalten:

Updates Zeitplan:

Lambda (behandeln Planänderungen) -> DynamoDB -> DynamoDBStream -> Lambda (Lesen Sie, wenn vorhanden, auf Änderungen anwenden auf alle Objekte und speichern zu einzelnes Objekt in S3)

Lesen Zeitplan:

Mit Lambda Lesen Sie das einzelne Objekt von S3 und bedienen Sie alle Pläne oder einzelne Zeitplan abhängig von der Anfrage. Sie können vor dem nächsten Lesen prüfen, ob das Objekt geändert wurde oder nicht, so dass Sie nicht jedes Mal von S3 lesen und nur aus dem Speicher bedienen müssen.

Skalierbarkeit:

Wenn Sie skalieren möchten, müssen Sie die Objekte auf bestimmte Größe spalten, so dass Sie nicht alle Objekte 3GB geladen werden mehr als die Speichergröße (Lambda-Prozess Speichergröße)

Hoffnung das hilft.

EDIT1:

Wenn Sie Ihre Portion Lambda Kaltstart, laden Sie das Objekt aus s3 ersten und danach können Sie s3 für eine aktualisierte Objekt (nach bestimmten Zeitintervall oder eine bestimmte Anzahl von Anfragen) überprüfen mit since modified date Attribut.

Sie können auch diese Daten zu Lambda-Speicher und dienen aus dem Speicher bis das Objekt aktualisiert wird.

Answer 2

Es hängt von der Größe jedes Einzelteils ab, aber wie?

allererst DynamoDB oder S3 verwenden Sie für zwei Dienste zu bezahlen (in Ihrem Fall *):

1- Anfrage pro Monat

2- Lagerung pro Monat

Wenn Sie kleine Artikel der erste Fall wird bis zu 577 mal billiger, wenn Sie Artikel von DynamoDB anstelle von S3 lesen

Wie: $ 0.01 pro 1.000 Anfragen für S3 im Vergleich zu 5,2 Millionen Lesevorgängen (bis zu 4 KB) pro Monat für DynamoDB. Plus sollten Sie $ 0,01 pro GB für Datenabruf in S3 zahlen, die zu diesem Preis addiert werden sollte. Ihre Schreibvorgänge in S3 sind jedoch kostenlos, während Sie für jeden Schreibvorgang in Ihre DynamoDB bezahlen müssen (was fast viermal teurer ist als das Lesen).

Wenn jedoch Ihre Artikel so viele RCUs pro Lese erfordern, wäre S3 in diesem Fall vielleicht billiger. Die Speicherkosten sind zwar geringer, aber Sie sollten sehen, wie groß Ihre Daten sind, da Sie für S3 maximal 0,023 US-Dollar pro GB bezahlen, während Sie 0,25 US-Dollar pro GB pro Monat zahlen, was fast 10-mal teurer ist .

Fazit: Wenn Sie so viele Anfrage und Ihre Elemente sind kleiner sein einfacheres und noch geradeaus DynamoDB zu verwenden, da Sie keine der Abfrage-Funktionen geben, die Sie DynamoDB haben mit der Sie eindeutig wird nicht, wenn Sie S3 verwenden. Andernfalls können Sie einen Zeiger auf die in S3 in DynamoDB gespeicherten Objekte beibehalten.

(*) Die Kosten, die Sie für Tags in S3 oder Indizes in DynamoDB bezahlen, sind weitere Faktoren, die berücksichtigt werden müssen, wenn Sie sie verwenden müssen.