eine Datei in Blöcken in Ruby Read

Question

Ich brauche eine Datei in MB Stücke zu lesen, gibt es einen sauberere Weg, dies in Ruby zu tun:

FILENAME="d:\\tmp\\file.bin" 
MEGABYTE = 1024*1024 
size = File.size(FILENAME) 
open(FILENAME, "rb") do |io| 
    read = 0 
    while read < size 
    left = (size - read) 
    cur = left < MEGABYTE ? left : MEGABYTE 
    data = io.read(cur) 
    read += data.size 
    puts "READ #{cur} bytes" #yield data 
    end 
end 

Answer 1

aus dem Kochbuch Rubin Angepasst Seite 204:

FILENAME = "d:\\tmp\\file.bin" 
MEGABYTE = 1024 * 1024 

class File 
    def each_chunk(chunk_size = MEGABYTE) 
    yield read(chunk_size) until eof? 
    end 
end 

open(FILENAME, "rb") do |f| 
    f.each_chunk { |chunk| puts chunk } 
end 

Haftungsausschluss: Ich bin ein Ruby-Neuling und habe dies nicht getestet.

Answer 2

FILENAME="d:/tmp/file.bin" 

class File 
    MEGABYTE = 1024*1024 

    def each_chunk(chunk_size=MEGABYTE) 
    yield self.read(chunk_size) until self.eof? 
    end 
end 

open(FILENAME, "rb") do |f| 
    f.each_chunk {|chunk| puts chunk } 
end 

Es funktioniert, mbarkhau. Ich habe gerade die konstante Definition in die Dateiklasse verschoben und der Klarheit halber ein paar "Selbst" hinzugefügt.

Answer 3

Alternativ, wenn Sie nicht wollen, monkeypatch File:

until my_file.eof? 
    do_something_with(my_file.read(bytes)) 
end 

Zum Beispiel Streaming ein hochgeladenes tempfile in eine neue Datei:

# tempfile is a File instance 
File.open(new_file, 'wb') do |f| 
    # Read in small 65k chunks to limit memory usage 
    f.write(tempfile.read(2**16)) until tempfile.eof? 
end 

Answer 4

Wenn Sie das Ruby-docs check out: http://ruby-doc.org/core-2.2.2/IO.html gibt es eine Zeile, die so geht:

IO.foreach("testfile") {|x| print "GOT ", x } 

Der einzige Vorbehalt ist. Da kann dieser Prozess die temporäre Datei schneller als der erzeugten Strom lesen, IMO sollte eine Latenz in geworfen werden.

IO.foreach("/tmp/streamfile") {|line| 
    ParseLine.parse(line) 
    sleep 0.3 #pause as this process will discontine if it doesn't allow some buffering 
} 

Answer 5

Sie IO#each(sep, limit) verwenden können, und setzen sep-nil oder eine leere Zeichenfolge, zum Beispiel :

chunk_size = 1024 
File.open('/path/to/file.txt').each(nil, chunk_size) do |chunk| 
    puts chunk 
end