Vorteil des Frühlings Wolkendaten unter Verwendung fließen statt Feder Batch

Question

Wir brauchen eine Anwendung zu schreiben, jeden Tag eine flache Datei zu lesen und in einer Datenbanktabelle zu schreiben. Wir planen, Spring Batch für diese Aufgabe zu verwenden.

Die Begrenzung und zusätzlich die wir suchen sind

1. Die Anwendung selbst in einer einzigen VM laufen würde. Es wird nie in mehr als einer VM jederzeit bereitgestellt.

2.Und könnten wir andere Dateien in Zukunft müssen nach dem gleichen Muster.

In diesem Szenario wird mit Spring Data Flow alle Merkmale oder Vorteil gegenüber Frühjahr Batch zur Verfügung stellen?

Answer 1

Ich habe versucht, die allgemeinen Funktionen und die Vereinfachung, die Spring Cloud Datenfluss (SCDF) in diesem SO thread bietet - vielleicht könnte dies nützlich sein.

In Ihrem Fall

Die Anwendung selbst in einer einzigen VM laufen würde. Es wird nie in mehr als einer VM jederzeit bereitgestellt.

Nicht sicher, ob dies eine Frage oder eine Anforderung ist. Ich gehe davon aus, dass Sie sich fragen, wie Sie Ihren Batch-Job-Betrieb skalieren können.

Wenn Sie einen remote partitioned Batch-Job, abhängig von der Anzahl der workers, die Sie konfigurieren haben, jeder von ihnen in einem separaten Prozess/Behälter ausgeführt wird und der master Schritt definiert in Batch-Job koordiniert die Arbeiter und die Datenpartitionen. Dies wäre ein Beispiel für einen parallelisierten Betrieb - hier ist ein sample.

Und wir könnten auch andere Dateien in Zukunft müssen das gleiche Muster

Großen folgen. Sobald Sie Ihren Batch-Job in SCDF definiert und registriert haben, können Sie ihn jederzeit starten/erneut starten. Sie würden dazu die REST-APIs, Shell oder das Dashboard von SCDF verwenden.

Abhängig von der Laufzeitplattform, auf der Sie SCDF + Batch-Job ausführen, können Sie den plattformspezifischen Scheduler nutzen, um den Batch-Job über die in SCDF bereitgestellten REST-APIs zu planen.