Wie erhalten Nachrichten empfangen in Amazon SQS mit Boto-Bibliothek in Python zählen?

Question

Ich verwende Boto-Bibliothek in Python, um Amazon SQS-Nachrichten zu erhalten. In Ausnahmefällen lösche ich keine Nachrichten aus der Warteschlange, um einige weitere Änderungen zur Wiederherstellung temporärer Fehler vorzunehmen. Aber ich möchte nicht fortlaufend Fehlermeldungen erhalten. Was ich tun möchte, ist entweder Nachrichten nach dem Empfang mehr als 3 mal zu löschen oder keine Nachricht zu erhalten, wenn die Anzahl der Empfänger mehr als 3 ist.

Was ist die eleganteste Art, es zu tun?

Answer 1

Es gibt mindestens ein paar Möglichkeiten, dies zu tun.

Wenn Sie eine Nachricht in Boto lesen, erhalten Sie ein Nachrichtenobjekt oder eine Unterklasse davon. Das Nachrichtenobjekt hat ein Feld "Attribute", das ein Dict ist, das alle von SQS bekannten Nachrichtenattribute enthält. Eines der Dinge, die SQS verfolgt, ist die ungefähre Anzahl der Male, die die Nachricht gelesen wurde. Sie können diesen Wert also verwenden, um zu bestimmen, ob die Nachricht gelöscht werden soll oder nicht, aber Sie müssen mit der "ungefähren" Art des Werts vertraut sein.

Alternativ können Sie Nachrichten-IDs in einer Datenbank speichern und jedes Mal, wenn Sie die Nachricht lesen, ein Zählfeld in der Datenbank inkrementieren. Dies könnte in einem einfachen Python-Diktat erfolgen, wenn die Nachrichten immer in einem einzigen Prozess gelesen werden oder in etwas wie SimpleDB, wenn Sie Messwerte über Prozesse hinweg erfassen müssen.

Hoffe, dass hilft.

Hier einige Beispiel-Code:

>>> import boto.sqs 
>>> c = boto.sqs.connect_to_region() 
>>> q = c.lookup('myqueue') 
>>> messages = c.receive_message(q, num_messages=1, attributes='All') 
>>> messages[0].attributes 
{u'ApproximateFirstReceiveTimestamp': u'1365474374620', 
u'ApproximateReceiveCount': u'2', 
u'SenderId': u'419278470775', 
u'SentTimestamp': u'1365474360357'} 
>>> 

Answer 2

Es sollte in wenigen Schritten durchgeführt werden.

1. erstellen SQS-Verbindung: - sqsconnrec = SQSConnection (AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY)
2. erstellen Warteschlangenobjekt: - request_q = sqsconnrec.create_queue ("queue_name")
3. Last der Warteschlangennachrichten: - Nachrichten = request_q.get_messages()
4. jetzt erhalten Sie die Reihe von Nachrichtenobjekten und die Gesamtzahl der Nachrichten zu finden: - nur tun len (Nachrichten)

sollte wie Charme funktionieren.

Answer 3

Andernfalls könnten Sie eine zusätzliche Kennung am Ende der Nachricht in Ihrer SQS-Warteschlange einfügen. Dieser Bezeichner kann die Anzahl der Male beibehalten, die die Nachricht gelesen wurde.

Auch wenn Sie möchten, dass Ihr Dienst diese Nachrichten nicht immer wieder abfragen sollte, können Sie eine weitere Warteschlange erstellen, sagen "Dead Message Queue" und können dann die Nachricht übertragen, die den Schwellenwert überschritten hat.

Answer 4

Das ApproximateReceiveCount-Attribut aus der Nachricht erhalten, die Sie gelesen haben. verschieben Sie es in eine andere Warteschlange (als Sie Fehlermeldungen verwalten können) oder löschen Sie es einfach.

foreach (var message in response.Messages){ 
     try{ 
      var notifyMessage = JsonConvert.DeserializeObject<NotificationMessage>(message.Body); 
        Global.Sqs.DeleteMessageFromQ(message.ReceiptHandle); 
      } 
     catch (Exception ex){ 
      var receiveMessageCount = int.Parse(message.Attributes["ApproximateReceiveCount"]); 
      if (receiveMessageCount >3) 
       Global.Sqs.DeleteMessageFromQ(message.ReceiptHandle); 
      } 
     } 

Answer 5

aws hat eingebaute Unterstützung für diese, nur die folgenden Schritte folgen:

1. erstellen Dead Letter Queue
2. weiterzutreiben Politik für die Quellen-Warteschlange aktivieren, indem Sie "Use weiterzutreiben Policy" Überprüfung
3. wählen Sie die Warteschlange für unzustellbare Sie in Schritt # 1 für "dead letter Queue" erstellt
4. Set "Maximum erhält" als "3" oder einen beliebigen Wert zwischen 1 und 1000

Wie es funktioniert, ist, wann immer eine Nachricht vom Arbeiter empfangen wird, die Empfangszählung inkrementiert. Sobald die Anzahl der eingehenden Nachrichten erreicht ist, wird die Nachricht in die Warteschlange für nicht zustellbare Nachrichten verschoben. Hinweis: Auch wenn Sie über die aws-Konsole auf die Nachricht zugreifen, wird die Empfangszahl erhöht.

Quelle Using Amazon SQS Dead Letter Queues