Kann Dateien von S3 nicht mit nodeJS herunterladen: einige Dateien enden nicht

Question

Das macht mich verrückt.

Ich brauche meinen Server, um 100 relativ kleine Dateien von S3 herunterladen (max 2 MB).

Es funktioniert immer für ~ 95% der Dateien, aber es blockiert für die letzten 6-8 Dateien. Die resolve noch die reject Rückruf wird nie genannt ...

Ich habe versucht, Dateien parallel zum Download ...

• Wer dies erlebt?
• Könnte es sein, dass ein Paket verloren geht und der Stream nicht schließt?
• Gibt es eine maximale Anzahl gleichzeitiger Downloads?

Hier ist der Code, der in 95% der Fälle technisch funktioniert:

let singleGetFromS3 = (bucket, fileName) => { 
    return new Promise((resolve, reject) => { 
     let extension = getFileNameExtension(fileName); 
     fs.stat(`./${fileName}`, (err, stat) => { 
     if (err === null) { 
      console.log(`${fileName} exists locally`); 
      resolve(fileName); 
     } else if(err.code === 'ENOENT') { 
      let params = {Bucket: bucket, Key: fileName}; 
      let file = require('fs').createWriteStream(`./tmp-${fileName}`); 
      s3.getObject(params).createReadStream() 
      .on('error', (error) => { return reject(error); }) 
      .on('end',() => { 
       fs.rename(`./tmp-${fileName}`, `./${fileName}`, reject); 
       return resolve(fileName); 
      }) 
      .pipe(file); 
     } else { 
      reject(err); 
     } 
     }); 
    }); 
    }; 

Verwendung:

"aws-sdk": "^2.23.0", 
node --version 
v4.5.0 

Answer 1

Sieht aus wie Sie für das falsche Ereignis hören, wann zu lösen. Sie wollen nicht auflösen, wenn alle Bytes von S3's Readable gelesen wurden, die Sie auflösen möchten, wenn file schreibend ist.

let singleGetFromS3 = (bucket, fileName) => { 
    return new Promise((resolve, reject) => { 
     let extension = getFileNameExtension(fileName); 
     fs.stat(`./${fileName}`, (err, stat) => { 
     if (err === null) { 
      console.log(`${fileName} exists locally`); 
      resolve(fileName); 
     } else if(err.code === 'ENOENT') { 
      let params = {Bucket: bucket, Key: fileName}; 
      let file = require('fs').createWriteStream(`./tmp-${fileName}`);  

      // Listen for the file to be done writing, then resolve 
      file.on('finish',() => { 
       fs.rename(`./tmp-${fileName}`, `./${fileName}`, reject); 
       return resolve(fileName); 
      }) 

      s3.getObject(params).createReadStream() 
      .on('error', (error) => { return reject(error); }) 
      .pipe(file); 
     } else { 
      reject(err); 
     } 
     }); 
    }); 
    };