Beste Methode, um APIs zu konsumieren

Question

Was ist der beste Weg, APIs für die Datenverarbeitung/Data Warehousing zu verbrauchen.

Ich habe mehrere Datenquellen, die ich über APIs erhalten möchte. Einige der Module haben über 20 API-Aufrufe, andere 5-6. Wie bekomme ich all diese Daten für jedes System/jede Datenquelle?

Wäre der beste Ansatz, eine Konsolenanwendung wie Azure Web Job Service usw. zu verwenden. Ist das der größte Arbeitsaufwand, da die Programmierung von Grund auf neu sein muss? Oder sollte ich eine Middleware wie Talend, Pentaho verwenden, um diese APis zu konsumieren und in eine Datenbank zu übertragen?

Jede Hilfe wird sehr geschätzt.

Answer 1

Der einzige Vorteil, den WebJobs Ihnen bietet, ist die Möglichkeit, Code nach einem Zeitplan auszuführen. Sie schreiben Ihren eigenen Code, um Daten aus verschiedenen APIs zu holen und zu speichern, wenn Sie die Daten lagern.

Meiner Meinung nach, wenn Sie bereits .NET-Code, der diese APIs und speichert die erforderlichen Daten geschrieben hat, dann WebJobs wäre eine vernünftige Wahl. Wenn Sie den Code schreiben müssen, um APIs von Grund auf neu zu erstellen, würde ich zuerst zu einem Datenintegrations-Tool von Drittanbietern wie Talend schauen und sehen, ob es für Sie arbeiten wird.