Was ist der pythischste Weg, um alle Zeilen mehrerer Dateien zu durchlaufen?

Question

Ich möchte viele Dateien behandeln, als ob sie alle eine Datei wären. Was ist der richtige phytonische Weg [Dateinamen] => [Dateiobjekte] => [Zeilen] mit Generatoren/nicht eine ganze Datei in den Speicher zu lesen?

Wir alle wissen, der richtige Weg, um eine Datei zu öffnen:

with open("auth.log", "rb") as f: 
    print sum(f.readlines()) 

Und wir wissen, die richtige Art und Weise mehrere Iteratoren/Generatoren in einer lang zu verknüpfen:

>>> list(itertools.chain(range(3), range(3))) 
[0, 1, 2, 0, 1, 2] 

aber wie kann ich mehrere Dateien miteinander verknüpfen und die Kontextmanager beibehalten?

with open("auth.log", "rb") as f0: 
    with open("auth.log.1", "rb") as f1: 
     for line in itertools.chain(f0, f1): 
      do_stuff_with(line) 

    # f1 is now closed 
# f0 is now closed 
# gross 

Ich konnte die Kontext-Manager ignorieren und so etwas tun, aber es fühlt sich nicht richtig:

files = itertools.chain(*(open(f, "rb") for f in file_names)) 
for line in files: 
    do_stuff_with(line) 

Oder ist diese Art von dem, was für Async IO - PEP 3156 ist und ich muss nur an warte später auf die elegante Syntax?

Answer 1

Es gibt immer fileinput.

for line in fileinput.input(filenames): 
    ... 

die source jedoch Lesen, scheint es, dass fileinput.FileInput nicht als Kontext-Manager verwendet werden. Um dies zu beheben, könnte man contextlib.closing seit FileInput Instanzen haben verwenden, um eine sanely implementiert close Methode:

from contextlib import closing 
with closing(fileinput.input(filenames)) as line_iter: 
    for line in line_iter: 
     ... 

---

Eine Alternative mit dem Kontext-Manager ist eine einfache Funktion Looping über die Dateien zu schreiben und wodurch man Linien, wie Sie gehen:

def fileinput(files): 
    for f in files: 
     with open(f,'r') as fin: 
      for line in fin: 
       yield line 

keine wirkliche Notwendigkeit für itertools.chain hier IMHO ... die Magie hier ist in der yield Anweisung, die verwendet wird, um eine normale Funktion int umwandeln o ein fantastisch fauler Generator.

---

Als Nebenwirkung, beginnend mit python3.2, fileinput.FileInput als Kontext-Manager implementiert ist, die genau das tut, was wir mit contextlib zuvor. Jetzt wird unser Beispiel:

# Python 3.2+ version 
with fileinput.input(filenames) as line_iter: 
    for line in line_iter: 
     ... 

obwohl das andere Beispiel auch auf python3.2 + funktioniert.