Dateien basierend auf einem Datumsbereich kombinieren

Question

Ich bin sehr neu im Scripting und bin daher nicht sicher, wie ich eine Reihe von Dateien am besten zusammenführen kann. Ich versuche, ein Qualitätskontrollskript zu erstellen, das sicherstellt, dass ein nächtliches Laden ordnungsgemäß in die DB hochgeladen wurde (wir haben festgestellt, dass bei einer Verzögerung aus irgendeinem Grund die Synchronisierung jegliche Spenden ausschließt, die während des genannten Zeitraums eingingen).

Ich habe ein Verzeichnis von täglich synchronisierten Dateien als solche gekennzeichnet:

20161031_donations.txt 

20161030_donations.txt 

20161029_donations.txt 

20161028_donations.txt 

etc etc 

Jede Datei denselben Header hat.

Ich möchte die letzten 7 Tage von Dateien in eine Datei mit nur 1 Kopfzeile zusammenführen. Ich bemühe mich hauptsächlich zu verstehen, wie man einen Datumsbereich mit einem Platzhalter belegt. Ich habe immer nur getan:

for i in a.txt b.txt c.txt d.txt 
do this 
done 

, die für eine statische merge in Ordnung ist, aber nicht dynamisch in eine richtige QC Skript zu integrieren.

Ich habe einen Unix-Hintergrund, aber möchte dies in Python tun. Ich bin neu in Python, also bitte erläutern Sie in irgendwelchen Vorschlägen.

Answer 1

Erweiterung auf Alex Hall Antwort, können Sie den Header aus einer Datei packen und es für die verbleibenden Dateien überspringen der Merge

from glob import glob 
from shutil import copyfileobj 

files = sorted(glob('*_donations.txt'))[-7:] 

# if you want most recent file first do 
# files.reverse() 

with open("merged_file.txt", "w") as outfp: 
    for i, filename in enumerate(files): 
     with open(filename) as infile: 
      if i: 
       next(infile)    # discard header 
      copyfileobj(infile, outfile) # write remaining 

Answer 2

Der Vorteil Ihres Datumsformats (unter der Annahme, dass es kein Padding gibt, z. B. 20160203 für 3. Februar) ist, dass es alphabetisch sortiert werden kann! So können Sie genau dies tun:

from glob import glob 

for path in sorted(glob('*_donations.txt'))[-7:]: 
    with open(path) as f: 
     # get the content for merging 

Dies wird die 7 neuesten Dateien erhalten, beginnend mit dem ältesten. This is why ISO 8601 is the best date format.