wie Suche Zeichenfolge in einem Ordner von Textdateien mit Python

Question

Ich schreibe einige Skripts, um einige Textdateien in Python zu verarbeiten. Vor Ort liest das Skript aus einer so einzelnen txt-Datei verwenden i

index_file = open('index.txt', 'r') 
    for line in index_file: 
     .... 

und Schleife durch die Datei eine passende Zeichenfolge zu finden, aber wenn Amazon EMR, die index.txt Datei per se wird mehrere TXT-Dateien aufgeteilt in in einem einzigen Ordner.

Also ich möchte das lokal replizieren und lesen von mehreren TXT-Datei für eine bestimmte Zeichenfolge, aber ich habe Mühe, sauberen Code zu finden, um das zu tun.

Was ist der beste Weg, um dies zu tun, während Sie minimalen Code schreiben?

Answer 1

import os 
from glob import glob 

def readindex(path): 
    pattern = '*.txt' 
    full_path = os.path.join(path, pattern) 
    for fname in sorted(glob(full_path)): 
     for line in open(fname, 'r'): 
      yield line 
# read lines to memory list for using multiple times 
linelist = list(readindex("directory")) 
for line in linelist: 
    print line, 

Dieses Skript definiert ein Generator (see this question for details about generators) durch alle Dateien im Verzeichnis „Verzeichnis“ zu wiederholen, die Erweiterung „txt“ in sortierter Reihenfolge haben. Es liefert alle Zeilen als einen Stream, der nach dem Aufruf der Funktion durchlaufen werden kann, als ob die Zeilen aus einer offenen Datei kämen, da dies scheint, was der Fragesteller wollte. Das Komma am Ende der Druckzeile stellt sicher, dass newline nicht zweimal gedruckt wird, obwohl der Inhalt der for-Schleife sowieso durch den Frageautor ersetzt würde. In diesem Fall kann man line.rstrip() verwenden, um den Zeilenumbruch loszuwerden.

Das Glob-Modul findet alle Pfadnamen, die mit einem bestimmten Muster übereinstimmen, gemäß den von der Unix-Shell verwendeten Regeln, obwohl die Ergebnisse in beliebiger Reihenfolge zurückgegeben werden.