Nodejs senden teilweise Antwort

Question

Es gibt 20.000 Datensätze in Mongodb-Sammlung. Ich exportiere alle diese Datensätze in einem CSV. Ich bin senden Teilantwort dies mit:

res.writeHead(200, { 
        "Content-Type": "application/csv", 
        "Content-disposition": "attachment; filename='import.csv'" 
}); 

res.write(data + '0', "binary"); 

Above-Code wird in Batch von 500 Ausführen ich mit diesem Code bin endet, wenn alle Datensätze verarbeitet werden.

if (++responseCount == loopCount) { 
    res.end(); 
} 

Aber ich habe diesen Fehler:

kann nicht Header gesetzt, nachdem sie gesendet werden.

Aber ich bekomme die Datei mit 500 Datensätzen heruntergeladen.

Hier ist mein voller Code.

var exportData = function (req, res, next) { 

var limit = 500; 
var responseCount = 0; 
var loopCount = 1; 
var size = 30000; 

//Get 500 records at one time 
var getData = function (req, start, cb) { 
    req.db.collection('items').find().skip(start).limit(limit).toArray(function (err, records) { 
     if (err) throw err; 
     cb(null, records); 
    }); 
}; 

if (size > limit) { 
    loopCount = parseInt(req.size/limit); 

    if ((req.size % limit) != 0) { 
     loopCount += 1; 
    } 
} 

for (var j = 0; j < loopCount; j++) { 

    getData(req, limit * j, function (err, records) { 

     if (err) throw err; 

     records.forEach(function (record) { 
      //Process record one by one 
     }); 

     res.write(records); 

     if (++responseCount == loopCount) { 
      res.setHeader('Content-type', 'application/csv'); 
      res.setHeader("Content-disposition", 'attachment; filename="import.csv"'); 
      res.end(); 

     } 

    }); 
} 
}; 

Answer 1

Diese Aussage

res.writeHead(200, { 
        "Content-Type": "application/csv", 
        "Content-disposition": "attachment; filename='import.csv'" 
}); 

gehört Abschnitt Header, wenn Sie Antwort ist send.So, es Header senden.
res.end() senden Sie auch header.So, auf diese Weise senden Sie Header erneut.

Bitte beachten Sie diese einer stackoverlflow Frage


EDIT CODE:

data.pipe(resp); 
resp.end(); 

Bitte beachten Sie diese für mehr pipe

Answer 2

Warum nicht einfach die Daten streamen? Sie könnten Mungo query.stream Feature verwenden. Ein Beispiel aus der Dokumentation:

// follows the nodejs 0.8 stream api 
Thing.find({ name: /^hello/ }).stream().pipe(res) 

Der Stream kümmert sich um den Datenfluss für Sie. Als node.js Strom, können Sie auch für Veranstaltungen hören:

// manual streaming 
var stream = Thing.find({ name: /^hello/ }).stream(); 

stream.on('data', function (doc) { 
    // do something with the mongoose document 
}).on('error', function (err) { 
    // handle the error 
}).on('close', function() { 
    // the stream is closed 
}); 

Answer 3

var exportData = function (req, res, next) { 

    res.writeHead(200, { 
     'Content-Type': 'application/csv', 
     'Content-Disposition': 'attachment; filename="import.csv"' 
    }); 

    var limit = 500; 
    var responseCount = 0; 
    var loopCount = 1; 
    var size = 30000; 

    //Get 500 records at one time 
    var getData = function (req, start, cb) { 
     req.db.collection('items').find().skip(start).limit(limit).toArray(function (err, records) { 
      if (err) throw err; 
      cb(null, records); 
     }); 
    }; 

    if (size > limit) { 
     loopCount = parseInt(req.size/limit); 

     if ((req.size % limit) != 0) { 
      loopCount += 1; 
     } 
    } 

    for (var j = 0; j < loopCount; j++) { 

     getData(req, limit * j, function (err, records) { 

      if (err) throw err; 

      records.forEach(function (record) { 
       //Process record one by one 
      }); 

      res.write(records); 

      if (++responseCount == loopCount) { 
       res.end(); 
      } 

     }); 
    } 
};