Was zu verwenden: Einfädeln oder Multiprocessing oder rq oder gevents für eine Datenbank Use Case im Zusammenhang

Question

I gleichzeitige Prozesse für diesen Fluss ausgeführt werden soll:

table A hat Zeilen und jede Zeile hat: source und destination Verbindungen mit start-time und time-interval zur Abfrage der source zum Einfügen in destination. Jetzt kann die time_interval für verschiedene Zeilen wie 1 day oder 1 month unterschiedlich sein. Jeder Prozess ruft diese Details ab, fragt die Quelle ab und fügt sie in destination ein. Die Startzeit wird jetzt start-time + interval.

Ich möchte jede Zeile von A gleichzeitig ausführen. Was sollte der beste Weg, um darüber zu gehen, mit threading/multiprocessing/rq/gevents/any other implementation zum Beispiel Multithreading mit Warteschlangen

Dank.

Answer 1

Gewöhnlich Multi-Thread ist schneller, aber es kann Probleme geben, wenn Sie Objekte/Variablen geteilt haben. Multiprozess vermeiden diesen Fall mit einer geeigneten Synchronisation, zum Beispiel mit Semaphoren.