Fehler beim Importieren eines sehr großen Datensatzes in arangoDB

Ich versuche, einen riesigen Datensatz über arangoimp in ArangoDB zu importieren. Es sind etwa 55 Millionen Kanten. Ich vergrößerte die Größe der wal.logfiles (--wal.logfile-Größe zu 1024k von 32k). Dies löste den letzten Fehler. Aber jetzt bekomme ich folgende Fehlermeldung:Fehler beim Importieren eines sehr großen Datensatzes in arangoDB

WARNING {collector} got unexpected error in MMFilesCollectorThread::collect: no journal 
ERROR cannot create datafile '/usr/local/var/lib/arangodb3/databases/database-1/collection-2088918365-385765492/temp-2153337069.db': Too many open files

Importstatement war: arangoimp --file links_de.csv --type csv --collection links

Gibt es eine Möglichkeit arangoimp Arbeit mehr iterativ wie tun Brocken oder etwas zu lassen? Ich würde ziemlich kompliziert sein, die CSV in einigen Teilen wegen seiner Größe zu teilen ...

vielen Dank!

Quelle

2017-07-07 Hendrik Pommerening

mehr Fehlermeldungen: 'ERROR {Walzenzug} konnte nicht Verdichter-Datei erstellen: keine journal' ' Fehler kann Daten-Datei ‚/ usr/local/var/lib/arangodb3 nicht erstellen /databases/database-1/collection-42-2031239911/compaction-110.db ': Zu viele offene Dateien' –

Ich löste es schließlich: Too many open files war der Hinweis. Sie müssen das Limit für geöffnete Dateigriffe erhöhen. Bevor Sie Arango auf Unix/Mac OS starten, starten Sie ulimit -n 16384 oder höher, um das Limit für diese Shell-Sitzung zu erhöhen. Danach dauert der Import noch einige Stunden, hat aber für mich funktioniert. Sie können auch die Journalgröße der Sammlung in arango erhöhen, um die Anzahl der benötigten Dateizugriffspunkte zu reduzieren.

Siehe auch dort: ArangoDB Too many open files

Quelle

2017-07-09 12:34:56

Fehler beim Importieren eines sehr großen Datensatzes in arangoDB

Antwort

Verwandte Themen