Was ist der beste Weg, um eine asynchrone Warteschlange kontinuierlich in Java zu verarbeiten?

Question

Es fällt mir schwer, herauszufinden, wie ich das letzte Stück meines Systems gestalten soll. Zur Zeit betreibe ich einen Tomcat-Server mit einem Servlet, das auf Client-Anfragen reagiert. Jede Anfrage fügt wiederum eine Verarbeitungsnachricht zu einer asynchronen Warteschlange hinzu (ich werde wahrscheinlich JMS über Spring oder wahrscheinlicher Amazon SQS verwenden).

Die Abfolge der Ereignisse ist dies:

Senden Seite: mit einer eindeutigen ID
1. eine Client-Anforderung einige Daten in einem DB zu dieser Anfrage
3. ein In Zusammenhang Nehmen
2. Fügen Nachrichtenobjekt diese Anfrage an die Nachrichtenwarteschlange repräsentiert

Empfangsseite:
1. eine neue Nachricht Objekt Ziehen aus der Warteschlange
2. Abwickelwerkzeug das Objekt und Halte einige Informationen von einer Website basierend auf Informationen, die im msg-Objekt enthalten sind.
3. Senden Sie eine E-Mail-Benachrichtigung
4. Aktualisieren Sie meine DB-Zeile (gleiche eindeutige ID) mit der Information, dass Operation für diese Anfrage abgeschlossen wurde.

Ich habe eine harte herauszufinden, wie man richtig mit der Empfangsseite umgehen. Auf der einen Seite kann ich wahrscheinlich ein einfaches Java-Programm erstellen, das ich von der Befehlszeile aus starte, die jedes Element in der Warteschlange auswählt und verarbeitet. Ist das sicher? Macht es mehr Sinn, das Programm als einen anderen Thread im Tomcat-Container laufen zu lassen? Ich möchte das nicht seriell machen, dh das empfangende Ende sollte in der Lage sein, mehrere Objekte gleichzeitig zu verarbeiten - mit mehreren Threads. Ich möchte, dass dies 24 Stunden am Tag läuft.

Was sind einige Optionen zum Aufbau der Empfangsseite?

Answer 1

"Auf der einen Seite kann ich wahrscheinlich ein einfaches Java-Programm erstellen, das ich von der Befehlszeile aus starte, die jedes Element in der Warteschlange auswählt und verarbeitet. Ist das sicher?"

Was ist daran unsicher? Es funktioniert großartig.

"Ist es sinnvoller, das Programm als einen anderen Thread im Tomcat-Container laufen zu lassen?"

Nur wenn Tomcat viel freie Zeit hat, Hintergrundverarbeitung zu verarbeiten. Oft ist diese der Fall - Sie haben Freizeit, diese Art der Verarbeitung zu tun.

Die Gewinde sind jedoch nicht optimal. Threads teilen sich gemeinsame E/A-Ressourcen, und Ihr Hintergrund-Thread kann das Front-End verlangsamen.

Besser ist eine JMS-Warteschlange zwischen dem Frontport "Port 80" und einem separaten Back-End-Prozess. Der Back-End-Prozess wird gestartet, stellt eine Verbindung mit der Warteschlange her, ruft die Anforderungen ab und führt sie aus. Der Backend-Prozess kann (falls erforderlich) multi-threaded sein.

Answer 2

Ich habe so etwas getan, indem ich den Empfänger in einem App-Server gehostet habe, Weblogic in meinem Fall, aber Tomcat funktioniert auch gut. Abfragen Sie die Warteschlange nicht ab, verwenden Sie ein ereignisbasiertes Modell. Dies könnte handcodiert sein, oder es könnte ein nachrichtengesteuerter Webdienst sein. Wenn das Datenbankupdate idempotent ist, können Sie die Datenbank aktualisieren und die E-Mail senden und anschließend die Festschreibung in der Warteschlange durchführen. Es ist kein Problem, mehrere Threads zu haben, die alle aus derselben Warteschlange lesen.

Ich habe verschiedene JMS-Lösungen, einschließlich tibco, activemq (vor Apache subsumiert es) und Joram. Joram war die zuverlässigere Open Source-Lösung, aber das könnte sich jetzt geändert haben, da es Teil von Apache ist.

Answer 3

Wenn Sie bereits Spring verwenden, lesen Sie DefaultMessageListenerContainer. Es ermöglicht Ihnen, eine POJO Message Driven Bean zu erstellen. Dies kann innerhalb eines vorhandenen Anwendungscontainers (Ihrer WAR-Datei) oder als separater Prozess verwendet werden.

Answer 4

Wenn Sie JMS verwenden, warum platzieren Sie die Aufgaben in einer Datenbank?

Sie können eine dauerhafte Warteschlange in JMS verwenden. Dies würde Aufgaben behalten, selbst wenn der JMS-Broker stirbt, bis sie bestätigt werden. Sie können redundante Broker haben, so dass wenn ein Broker stirbt, der zweite automatisch übernimmt. Dies könnte zuverlässiger sein als die Verwendung einer einzelnen DB.