Verzeichnis von json in mongoDB importieren

Question

Ich habe ein Verzeichnis mit mehreren Unterverzeichnissen, die insgesamt etwa eine Million JSON-Dateien enthalten. Ich muss diese ganze Sache in mongoDB importieren. Ich stelle mir vor, dass dies ein sehr häufiges Problem ist, aber ich kann kein Tutorial dafür finden. Gibt es hier eine einfache Lösung?

(Oder sollte ich schreiben ein Skript durch die Verzeichnisse zu durchlaufen, jede Datei in eine Variable lesen und dann den Inhalt in meine db einfügen?)

Answer 1

Sie sind grundsätzlich auf dem richtigen Weg.

Iterieren Sie durch das gesamte Verzeichnis, lesen Sie die Dateien, um ein JSON-Objekt in Ihrem Code zu erstellen, und speichern Sie Ihre Dokumente dann direkt in MongoDB.

Werfen Sie einen Blick auf this.

Ein großes Problem jedoch: MongoDB speichert Ihre Dokumente in Sammlungen, mit der Bedingung, dass jedes Dokument in Ihrer Sammlung das gleiche allgemeine Format/Struktur hat. Grundsätzlich muss jedes Dokument die meisten, wenn nicht sogar alle Eigenschaften aufweisen. Andernfalls müssen Sie etwas anderes verwenden oder den gesamten JSON als Eigenschaft eines kapselnden Dokuments speichern, das Sie dann speichern können.

Etwas wie folgt aus:

{ 
    '_id': 'YOUR_DOCUMENT_ID', 
    'doc': 'JSON_OR_STRING_OF_YOUR_FILE' 
}