Streamen Sie eine große Datei Zeile für Zeile von S3

Question

Ich habe ein paar 10 GB CSV-Dateien in S3, die ich verwenden möchte, um meine DB zu seed. Ich führe eine RoR-Anwendung auf Heroku aus und ich kann nicht herausfinden, wie ich die CSV Zeile für Zeile streamen kann, um sie zu verarbeiten, da sie viel zu groß ist, um in den Speicher zu passen, und ich File.open nicht verwenden kann, um auf eine externe Datei zuzugreifen .

Ich habe untersucht, mit Tempfile Bytes zu einem Zeitpunkt zu streamen, aber sie nicht mit neuen Zeilen übereinstimmen und das Rekonstruieren in Ruby ist schwierig.

Vielen Dank!

Answer 1

Sie können einen Stream lesen, wie in der API-Dokumentation beschrieben: http://docs.aws.amazon.com/AWSRubySDK/latest/AWS/S3/S3Object.html

File.open('output', 'wb') do |file| 
    large_object.read do |chunk| 
    file.write(chunk) 
    end 
end 

Sie auch range als Option verwenden, können eine Reihe von Bytes zu lesen.

http://docs.aws.amazon.com/AWSRubySDK/latest/AWS/S3/S3Object.html#read-instance_method