Lesen in einer Datei, einem Klumpen zu einem Zeitpunkt

Question

Ich habe eine sehr große Datei wie folgt formatiert:

(mydelimiter) 
line 
line 
(mydelimiter) 
line 
line 
(mydelimiter) 

Da die Datei so groß ist, ich kann nicht alles in den Speicher auf einmal lesen kann. Also würde ich jeden Block zwischen "(mydelimiter)" auf einmal lesen, einige Operationen darauf durchführen und dann den nächsten Block einlesen. Diese

ist der Code Ich habe bisher:

with open(infile,'r') as f: 
    chunk = [] 
    for line in f: 
     chunk.append(line) 

Nun, ich bin nicht sicher, wie Python zu sagen „halten Zeilen angehängt, bis Sie eine andere Linie treffen mit‚(mydelimiter)‘drin“, Speichern Sie die Zeile dort, wo sie gestoppt wurde, und starten Sie sie in der nächsten Iteration der for-Schleife.

Hinweis: Es ist auch nicht möglich, eine bestimmte Anzahl von Zeilen gleichzeitig einzulesen, da jeder Block eine variable Länge hat.

Answer 1

Sind Sie nicht vielleicht über das denken? Etwas so einfaches wie der folgende Code kann den Trick für Sie tun

with open(infile,'r') as f: 
    chunk = [] 
    for line in f: 
     if line == 'my delimiter': 
      call_something(chunk) 
      chunk=[] 
     else : 
      chunk.append(line)