Wie geparste Dateien in ein eindeutiges Format gebracht werden

Question

Ich habe verschiedene Quellen wie S3 (JSON-Dateien) und API, und ich muss alle Daten in ein eindeutiges Format bringen, um die Daten in DB zu speichern.

Ich habe versucht, Dateien und API-Antwort auf meinem PHP-Back-End zu analysieren, aber es ist zu langsam. Gibt es Best Practices oder Ratschläge, wie ich es richtig machen kann?

Ich werde eine Schnittstelle mit allen erforderlichen Methoden und Klasse für jede Quelle, die die Schnittstelle implementieren wird.

Wenn ich mit hunderten oder tausenden Dateien arbeiten werde (pro Stunde) Ist dieser Ansatz der beste Weg?

P.S. Derzeit ist das Projekt auf Symfony2 Framework aufgebaut.

Answer 1

Ich denke, Sie sind gezwungen, meine traditionelle RDBMS alle Quellen in ein bestimmtes Format zu konvertieren.

Sie können schemalose Systeme wie MongoDB, Cassandra oder sogar JSON in MySQL 5.7 verwenden, um 3 Felder zu speichern: id, source_type und source_json. Auf diese Weise erstellen Sie mehrere Klassen, die den source_type (z. B. S3) analysieren und entsprechend verwenden können.