Knoten: Wie kann ich Pipe und ändern Sie eine Datei aus einem Multipart

Question

Ich habe einen http-Dienst, der eine Anfrage umleiten muss, ich verwende keine Streams, weil ich mit großen Dateien in multipart und es überfordert RAM oder Festplatte (siehe How do Node.js Streams work?)

Jetzt habe ich Rohre verwende und es funktioniert, ist der Code etwas dieser Art:

var Req = getReq(response); 
request.pipe(Req); 

der einzige Nachteil ist, dass in diesem mehrteiliger ich in das Rohr erneut enthält eine JSON-Datei, muss ein paar Felder geändert werden.

Kann ich noch eine Pipe verwenden und eine Datei im Pipe-Multipart ändern?

Answer 1

Sie können dies mit einem Transform Stream tun.

var Req = getReq(response); 
var transformStream = new TransformStream(); 

// the boundary key for the multipart is in the headers['content-type'] 
// if this isn't set, the multipart request would be invalid 
Req.headers['content-type'] = request.headers['content-type']; 

// pipe from request to our transform stream, and then to Req 
// it will pipe chunks, so it won't use too much RAM 
// however, you will have to keep the JSON you want to modify in memory 
request.pipe(transformStream).pipe(Req); 

Stream-Code-Transformation:

var Transform = require('stream').Transform, 
    util = require('util'); 

var TransformStream = function() { 
    Transform.call(this, {objectMode: true}); 
}; 
util.inherits(TransformStream, Transform); 

TransformStream.prototype._transform = function(chunk, encoding, callback) { 

// here should be the "modify" logic; 

// this will push all chunks as they come, leaving the multipart unchanged 
// there's no limitation on what you can push 
// you can push nothing, or you can push an entire file 
    this.push(chunk); 
    callback(); 
}; 

TransformStream.prototype._flush = function (callback) { 
    // you can push in _flush 
    // this.push(SOMETHING);  
    callback(); 
}; 

In der _transform Funktion sollten Sie Ihre Logik so etwas wie dieses:

1. Wenn im aktuellen Brocken, die JSON Sie wollen Änderung beginnt

   <SOME_DATA_BEFORE_JSON> <MY_JSON_START>

   dann this.push(SOME_DATA_BEFORE_JSON); und halten MY_JSON_START in einem lokalen var

2. Während Ihre JSON nicht beendet ist, fügen Sie den Brocken zu Ihrem lokalen var

3. Wenn im aktuellen Brocken, die JSON endet:

   <JSON_END> <SOME_DATA_AFTER_JSON>

   dann JSON_END zu Ihrem var hinzuzufügen, zu tun, was Änderungen, die Sie wollen, und drücken Sie die Änderungen: this.push(local_var); this.push(SOME_DATA_AFTER_JSON);

4. Wenn aktuelle Brocken nichts von Ihrer JSON hat, drücken Sie einfach die Brocken

   this.push(chunk);

Other than that, können Sie die multipart format lesen. SOME_DATA_BEFORE_JSON aus wird oben sein:

--frontier 
Content-Type: text/plain 

<JSON_START> 

Anders als Content-Type, die Dateinamen enthalten kann, Codierung usw. Etwas im Auge zu behalten, die Brocken enden können, wo (in der Mitte der Grenze enden könnte). Das Parsing könnte ziemlich schwierig werden; Ich würde nach dem Grenzschlüssel (Grenze) suchen und dann überprüfen, ob der JSON danach startet.Es gäbe zwei Fällen:

1. Brocken: <SOME_DATA> --frontier <FILE METADATA> <FILE_DATA>
2. chunk 1: <SOME_DATA> --fron Chunk 2: ier <FILE METADATA> <FILE_DATA>

hoffe, das hilft!