AWS Firehose-Pufferung

Question

Beim Schreiben von Datensätzen in einen AWS-Firehose, der mit S3 als Ausgabeziel konfiguriert ist, wie lange werden diese Daten gepuffert, bevor sie in S3 geschrieben werden? Oder gibt es einen Schwellenwert für die Mindestgröße?

Zum Beispiel mache ich die folgenden Datensätze hinzu:

aws cli:

aws firehose put-record --delivery-stream-name mytestfirehoseafds --record='Data="{\"asdf\":\"testam\"}"' 

Ergebnis:

{ 
    "RecordId": "meESlTCUOBQwXaJ9NOVwKOLrEL+7y/glB0mIJ6h6Sz8lOJGUX/N+DlZttq4BQuY528j6ResbxQBR4To+V1RMbBvE4rcxP3kYwg0lmdBAEFWlNnzUb3nP214ywtRYRQ7IzCOjY9o1YPpqHNCCYkPd4Qr0StIFxIiBHHZvTcfW+qMbQkcy7Rr3R+wb+RVs9fEF2Fa8P6mD2NXJOE84sasPNYB/mrjaSMn9" 
} 

ich dies in meinem S3 Eimer sehen nicht sofort Wenn ich jedoch die Funktion "Testdaten" in der aws-Konsole verwende, sehe ich Dateien, die zu S3 mit den Testdaten einschließlich meines obigen Testdatensatzes hinzugefügt werden.

Also meine Fragen sind,

1.) Hat Firehose eine Art Puffer Schwelle, die es erreichen muss, bevor sie es gepufferten Daten an es ist Ausgangsquelle schreibt?

2.) Wie kann ich feststellen, welche Daten/Datensätze sich zu einem bestimmten Zeitpunkt im Firehose-Puffer befinden?

Answer 1

1) Ja, es ist konfigurierbar innerhalb Feuerwehrschlauch

Kinesis Feuerwehrschlauch puffert eingehende Daten, bevor sie an Amazon S3 liefert. Sie können eine Puffergröße (1-128 MB) oder ein Pufferintervall (60-900 Sekunden) wählen; Welche Bedingung auch immer erfüllt ist, löst zuerst die Daten an Amazon S3 aus.

Creating an Amazon Kinesis Firehose Delivery Stream

2) können Sie nicht. Firehose stellt die ausstehenden Daten nicht zur Verfügung.