So importieren Sie Daten aus einem beliebigen Dateiformat in JanusGraph

Question

Ich möchte einige Daten in JanusGraph importieren.

Ich habe die neueste Version von JanusGraph download. Ich öffnete die Gremlin-Konsole und initialisierte die Standardverbindung vom ersten Tutorial an.

gremlin> graph = JanusGraphFactory.open('conf/janusgraph-berkeleyje-es.properties') 

So weit, so gut. Ich habe einen Eckpunkt, eine Kante und einen Index erstellt. Also, jetzt kann ich ein paar Grundlagen in der Konsole machen.

Jetzt möchte ich einige Daten für Testzwecke importieren. Das Dateiformat und das Datenformat sind mir egal. Ich kann die Dateien vorbereiten.

Das Problem ist, dass ich kein gutes Beispiel für den Import einer Datendatei in JanusGraph finden kann.

Kann jemand mit Schritt für Schritt Anweisungen helfen?

Answer 1

Der Apache TinkerPop "Getting Started" Tutorial beschreibt, wie CSV-Daten laden:

http://tinkerpop.apache.org/docs/current/tutorials/getting-started/#_loading_data

Der grundlegende Prozess einfach beinhaltet einen Groovy-Skript zu schreiben und es in der Gremlin-Konsole ausgeführt wird. Das Skript muss Ihre Daten einfach in dem von Ihnen gewählten Format lesen - CSV, JSON, XML usw. - und dabei eine Parsing-Bibliothek Ihrer Wahl verwenden. Für CSV können Sie den einfachen Ansatz verwenden, der im Tutorial gezeigt wird, das nur Standard-Groovy-Klassen verwendet, aber für komplexere CSV-Dateien können Sie beispielsweise eine Bibliothek wie groovycsv verwenden. Der Punkt hier ist, dass Sie die Daten, die Sie laden möchten, einfach in die Graph Instanz schreiben, die Sie oben in Ihrem Code instanziiert haben. Sie würden das mit Gremlin addV() und addE() Methoden tun.

Beachten Sie, dass das Entwickeln von Ladeskripts wie diesem normalerweise für "kleinere" Datenmengen gedacht ist. Wenn Sie einen Graphen mit Milliarden von Kanten Kanten laden müssen, wird ein solcher Ansatz extrem lange dauern. In solchen Fällen würden Sie Daten parallel laden wollen (z. B. BulkLoaderVertexProgram)