Einreihen von Elementen für das POST an eine REST-API

Question

Ich erstelle eine App, die den Inhalt einer CSV in eine Reihe von "Lesungen" analysiert. Anschließend werden diese Messwerte an einen REST-API-Server gesendet, wo sie einer Datenbank hinzugefügt werden.

So weit so gut (und das oben genannte funktioniert). Ich bin mir jedoch bewusst, dass gelegentlich Verbindungsprobleme mit dem Server auftreten können (Verzögerungen oder wenn die API aus irgendeinem Grund ausfällt).

Um dies anzugehen, plante ich mit Sidekiq, um die Übertragung asynchron durchzuführen. Allerdings habe ich ein paar Fragen:

• Bin ich am besten aus einem ActiveJob Schaffung der Post durchzuführen und dann nur diesen Job Warteschlangen, wenn die CSV analysiert wird? Ich nehme an, dass, wenn es ein Verbindungsproblem gibt, es schließlich in der gleichen Reihenfolge fortsetzen würde, wie sie hinzugefügt werden?

• Muss ich Sidekiq anweisen, den Job "erneut zu versuchen", oder wird das einfach automatisch passieren?

• Schließlich, wie Sidekiq Redis verwendet, sollte Persistenz aktivieren, so dass, wenn der App-Server abstürzt, während es Elemente in der Warteschlange gibt sie nicht verloren gehen?

Gibt es noch etwas zu beachten? Oder eine bessere Lösung?

Answer 1

Es gibt zwei Szenarien

1) Sie werden die komplette Bearbeitung der CSV-Datei in auf Job bringen, wobei in diesem Fall denke ich, dass es nicht perfekt, wie das funktioniert, wenn der Job es wieder versagt wird Schleife über alle Zeilen. es sei denn, Sie markieren die Zeilen, indem Sie eine weitere Spalte in der CSV-Datei hinzufügen.

2) Sie fügen jede Zeile als einen separaten Job in Sidekiq hinzu, ich kann nur einen Nachteil darin sehen, dass Sie möglicherweise zu viele Jobs erstellen, falls Sie große CSV-Dateien haben, aber es wird viel sparen der Verarbeitung auf CSV-Seite.