zip() Alternative zum Iterieren durch zwei Iterables

Question

Ich habe zwei große (~ 100 GB) Textdateien, die gleichzeitig durchlaufen werden müssen.

Zip funktioniert gut für kleinere Dateien, aber ich fand heraus, dass es tatsächlich eine Liste von Zeilen aus meinen beiden Dateien erstellt. Dies bedeutet, dass jede Zeile im Speicher gespeichert wird. Ich brauche nichts mehr mit den Zeilen zu tun.

handle1 = open('filea', 'r'); handle2 = open('fileb', 'r') 

for i, j in zip(handle1, handle2): 
    do something with i and j. 
    write to an output file. 
    no need to do anything with i and j after this. 

Gibt es eine Alternative zu zip(), der als Generator wirkt, die mich ohne> 200 GB RAM durch diese beiden Dateien zu durchlaufen können?

Answer 1

itertools hat eine Funktion izip so macht, dass

from itertools import izip 
for i, j in izip(handle1, handle2): 
    ... 

Wenn die Dateien unterschiedlicher Größe sind, können Sie izip_longest, wie izip verwenden wird in der kleineren Datei zu stoppen.

Answer 2

So ähnlich? Wordy, aber es scheint das zu sein, wonach du verlangst.

Es kann angepasst werden, um Dinge wie eine richtige Zusammenführung zu tun, um die Schlüssel zwischen den beiden Dateien zu vergleichen, was oft mehr ist als die simple Zip-Funktion. Außerdem wird das nicht abgeschnitten, was wiederum der SQL OUTER JOIN-Algorithmus ist, der sich von dem unterscheidet, was zip-typisch ist und der für Dateien typisch ist.

with open("file1","r") as file1: 
    with open("file2", "r" as file2: 
     for line1, line2 in parallel(file1, file2): 
      process lines 

def parallel(file1, file2): 
    if1_more, if2_more = True, True 
    while if1_more or if2_more: 
     line1, line2 = None, None # Assume simplistic zip-style matching 
     # If you're going to compare keys, then you'd do that before 
     # deciding what to read. 
     if if1_more: 
      try: 
       line1= file1.next() 
      except StopIteration: 
       if1_more= False 
     if if2_more: 
      try: 
       line2= file2.next() 
      except StopIteration: 
       if2_more= False 
     yield line1, line2 

Answer 3

Wenn Sie auf die kürzeste Datei kürzen wollen:

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

try: 
    while 1: 
     i = handle1.next() 
     j = handle2.next() 

     do something with i and j. 
     write to an output file. 

except StopIteration: 
    pass 

finally: 
    handle1.close() 
    handle2.close() 

Else

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

i_ended = False 
j_ended = False 
while 1: 
    try: 
     i = handle1.next() 
    except StopIteration: 
     i_ended = True 
    try: 
     j = handle2.next() 
    except StopIteration: 
     j_ended = True 

     do something with i and j. 
     write to an output file. 
    if i_ended and j_ended: 
     break 

handle1.close() 
handle2.close() 

Oder

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

while 1: 
    i = handle1.readline() 
    j = handle2.readline() 

    do something with i and j. 
    write to an output file. 

    if not i and not j: 
     break 
handle1.close() 
handle2.close() 

Answer 4

können Sie verwenden izip_longest wie dieses Pad die kürzere Datei mit leeren Zeilen

in Python 2,6

from itertools import izip_longest 
with handle1 as open('filea', 'r'): 
    with handle2 as open('fileb', 'r'): 
     for i, j in izip_longest(handle1, handle2, fillvalue=""): 
      ... 

oder in python3.1

from itertools import izip_longest 
with handle1 as open('filea', 'r'), handle2 as open('fileb', 'r'): 
    for i, j in izip_longest(handle1, handle2, fillvalue=""): 
     ... 

Answer 5

Für python3, izip_longest ist eigentlich zip_longest.

from itertools import zip_longest 

for i, j in izip(handle1, handle2): 
    ...