Importieren Sie eine große (7 Millionen Zeilen) CSV-Datei in Neo4j schneller

Question

Dies ist meine erste Frage in Stackoverflow.

Ich möchte eine 7 Millionen Zeilen Datei in Neo4j-Datenbank importieren.

Jede Zeile enthält Informationen über einen Knoten, einen Zeitwert (die sich bereits in der Datenbank befinden). Für jede Zeile müsste ich einen vorhandenen Knoten und einen vorhandenen Zeitwert in der Datenbank finden, dann eine Beziehung zwischen ihnen erstellen und Werte entsprechend hinzufügen.

Ich möchte einige Hinweise zur Verbesserung der Importgeschwindigkeit. Das Schema lautet:

Ich brauche 24 Stunden für den Import rund 2 Millionen Zeilen. (1/3 davon) Ich würde erwarten, 50 ähnliche Dateien zu importieren, also denke ich, dass ich besseren Code brauchen würde, um die Geschwindigkeit zu erhöhen. Der zugewiesene Speicher ist 1 GB (Standardeinstellung) und die Festplatte ist SSD.

Vielen Dank!

USING PERIODIC COMMIT 1000 
LOAD CSV WITH HEADERS FROM "file:///../../Python/MAR15.csv" AS row WITH row 
WHERE row.LinkRef IS NOT NULL 
WITH row, toInt(SUBSTRING(row.Date, 0, 4)) AS y 
MATCH (year:Year {value: y}) 
WITH row, year, toInt(SUBSTRING(row.Date, 5, 2)) AS m 
MATCH (year)-[:CONTAINS]->(month:Month {value: m}) 
WITH row, month, toInt(SUBSTRING(row.Date, 8, 2)) AS d 
MATCH (month)-[:CONTAINS]->(day:Day {value: d}) 
WITH row, day, toInt(row.TimePeriod) AS t 
MATCH (day)-[:CONTAINS]->(timeperiod:Timeperiod {value: t}) 
##96 period per day, each period is 15 minutes 
WITH row, timeperiod 
MATCH(segment:SEGMENT {LinkRef: row.LinkRef}) 


CREATE (segment)-[trafficdata:TrafficData { 
    AverageJT: row.AverageJT, 
    AverageSpeed: row.AverageSpeed, 
    Flow: row.Flow, 
    DataQuality: row.DataQuality 
    }]->(timeperiod) 
SET segment.LinkLength = row.LinkLength; 

Answer 1

Wie Ryan vorgeschlagen, verbesserte ich die Abfragegeschwindigkeit durch diesen Code:

CREATE CONSTRAINT ON (segment:SEGMENT) ASSERT segment.LinkRef IS UNIQUE 

Da jedes Segment eine eindeutige Kennung (LinkRef) hat, das System in der Lage ist, das Spiel führen Überprüfung viel schneller . Das System kann mehr als 10.000 Eingaben pro Minute verarbeiten, nachdem diese Einschränkung hinzugefügt wurde.