Ist es üblich, 20 Python Worker auszuführen, die Redis als Warteschlange verwenden?

Dieses Programm hören Redis Warteschlange. Wenn Daten in Redis vorhanden sind, beginnen die Arbeiter ihre Arbeit. Alle diese Jobs müssen gleichzeitig ausgeführt werden, deshalb hört jeder Mitarbeiter eine bestimmte Redis-Warteschlange.Ist es üblich, 20 Python Worker auszuführen, die Redis als Warteschlange verwenden?

Meine Frage ist: Ist es üblich, mehr als 20 Arbeiter zu Redis zu hören?

Python /usr/src/worker1.py Python /usr/src/worker2.py Python /usr/src/worker3.py Python /usr/src/worker4.py Python/usr/src/worker5.py .... .... python /usr/src/worker6.py

Quelle

2017-10-18 user3201419

Dies scheint wie eine unbeantwortbare Frage. Ja, es ist möglich und wenn es deinem Zweck dient, tu es. Aber ist es üblich? Wahrscheinlich nicht. –

@ChrisCharles das ist das Meiste, was man mit Sellerie bekommt (in diesem Fall mit redis als Broker, aber das ist nicht der Hauptpunkt IMHO), und die Verwendung von Aufgaben Warteschlangen wie Sellerie wird eher üblich. –

Ich nehme an, es hängt auch davon ab, wie Sie allgemein definieren. Von allen Python-Prozessen, die auf der Welt laufen, laufen die meisten nicht so :) –

Wenn Ihr Arbeitnehmer braucht eine lange Aufgabe mit Daten zu tun, ist es eine Lösung. aber jede Daten müssen von einem einzelnen Arbeiter behandelt werden.

Auf diese Weise können Sie easly (ohne Gewinde, etc ..) verteilen Sie Ihre Aufgaben, es ist besser, wenn Ihr Arbeitnehmer in demselben Server

Quelle

2017-10-18 10:48:06 Indent

Nachdem mehrere Arbeitsprozesse nicht funktioniert (und wenn ich meine " multiple "Ich spreche Hunderte oder mehr", die möglicherweise auf verschiedenen Maschinen läuft, ist das Abrufen von Jobs aus einer Job-Warteschlange heutzutage ein allgemeines Muster. Es gibt sogar ganze Pakete/Frameworks, die solchen Workflows gewidmet sind, wie zum Beispiel Sellerie.

Was weniger üblich ist, versucht zu versuchen, das gesamte Taskwarteschlangensystem auf scheinbar ad-hoc Weise von Grund auf neu zu schreiben, anstatt ein dediziertes Taskwarteschlangensystem wie Sellery, ZeroMQ oder etwas Ähnliches zu verwenden.

Quelle

2017-10-18 10:50:50

Ist es üblich, 20 Python Worker auszuführen, die Redis als Warteschlange verwenden?

Antwort

Verwandte Themen