Verwenden von versprochenen CSV zum Bearbeiten sehr großer CSV-Dateien

Question

Ich arbeite an einem Knotenprojekt, mit dem Benutzer CSV-Dateien hochladen können, die dann möglicherweise zu einer Mongo-Datenbank hinzugefügt werden. Ich habe es funktioniert mit einem anderen Modul, aber mit großen Dateien, wird es zu Ende lesen und den Benutzer umleiten, bevor alle Daten verarbeitet wurden. Ich denke, versprochen - CSV wird dabei helfen, aber ich habe Probleme herauszufinden, wie man das aufstellt. Dies ist das aktuelle Setup:

app.post('/import', isLoggedIn, function(req, res) { 
    var reader = csv.createCsvFileReader(req.files.spreadsheet.path, {columnsFromHeader:true, 'separator': ','}); 
    reader.addListener('data', function(data) { 
     //do stuff with data here. 
    }) 
    reader.addListener('end', function(){ 
     fs.unlink(req.files.spreadsheet.path, function(err) { 
      res.redirect('/'); 
     }) 
    }) 
}); 

Answer 1

Zuerst haben Sie nicht erwähnt, in welchem ​​Bereich die CSV-Dateien sind? Aus Ihrem Code sehe ich, dass die Dateiverarbeitung im selben Request-Handler erfolgt, wie Sie die Datei hochladen. Abhängig von der Dateigröße, wenn sie größer als 5 MB ist, schlage ich vor, eine Art Batch-Arbeiter zu verwenden, um die Dateiverarbeitung durchzuführen. Fügen Sie eine zusätzliche Protokollierung hinzu, um zu sehen, wie lange das Einfügen dauert, und wie lange es dauert, bevor es beendet wird.

Werfen Sie einen Blick auf Post über gute Knoten CSV-Bibliothek Stream-basierte NodeJs reading csv file.