Gibt es eine Möglichkeit, diese "n-way merge" in Python zu vereinfachen

Question

Also jetzt habe ich 4 if/elif/else-Anweisungen fest codiert. Gibt es dort einen dynamischeren Weg dies zu tun? Zum Beispiel, wenn ich eine 10 oder Eve 40 Fusion machen wollte?

#4-way merge sort, sorted page files 
outfile="fullsorted.txt" 
of=open(outfile,"w") 
f1=open("temp0-sorted.txt","r") 
f2=open("temp1-sorted.txt","r") 
f3=open("temp2-sorted.txt","r") 
f4=open("temp3-sorted.txt","r") 

f1_line=f1.readline() 
f2_line=f2.readline() 
f3_line=f3.readline() 
f4_line=f4.readline() 

while len(f1_line)>0 and len(f2_line)>0 and len(f3_line)>0 and len(f4_line)>0: 
    if f1_line < f2_line and f1_line < f3_line and f1_line < f4_line and len(f1_line)>0: 
    of.write(f1_line) 
    f1_line=f1.readline() 
    elif f2_line < f3_line and f1_line < f4_line and len(f2_line)>0: 
    of.write(f2_line) 
    f2_line=f2.readline() 
    elif f3_line < f4_line and len(f3_line)>0: 
    of.write(f3_line) 
    f3_line=f3.readline() 
    else: 
    of.write(f4_line) 
    f4_line=f4.readline() 

of.close() 

Answer 1

mit Ihren eigenen Code-Mustern, erweitern und zu einem listenbasierten Ansatz wie folgt aus:

outfile="fullsorted.txt" 
of=open(outfile,"w") 
files = ["temp0-sorted.txt", "temp1-sorted.txt","temp2-sorted.txt","temp3-sorted.txt"] 

filehandles = [open(f, "r") for f in files] 

lines = [f.readline() for f in filehandles] 

while len(filehandles) > 0: 
    smallest = min(lines) 
    smallestposition = lines.index(smallest) 
    of.write(smallest) 
    lines[smallestposition] = filehandles[smallestposition].readline() 
    if lines[smallestposition] == "": 
     filehandles[smallestposition].close() 
     filehandles.pop(smallestposition) 
     lines.pop(smallestposition) 

of.close() 

Beachten Sie, dass dies die gesamten Zusammenführen von Dateien, anstatt zu stoppen, sobald eine Datei abläuft .

Answer 2

Verwenden Sie einfach heapq.merge:

import heapq 

#4-way merge sort, sorted page files 
outfile="fullsorted.txt" 

with open("temp0-sorted.txt","r") as f1,\ 
    open("temp1-sorted.txt","r") as f2,\ 
    open("temp2-sorted.txt","r") as f3,\ 
    open("temp3-sorted.txt","r") as f4,\ 
    open(outfile,"w") as of: 
    of.writelines(heapq.merge(f1, f2, f3, f4)) 

Answer 3

Vielen Dank für die Tipps alle, hier ist meine Lösung:

sorted_files=[] 

strings=[] 
for i in xrange(files+1): 
    sorted_files.append(open("temp"+str(i)+"-sorted.txt","r")) 
    strings.append(sorted_files[i].readline()) 

print len(sorted_files) 
print strings 
eofs=0 
while eofs != 1: 
    small_str=min(filter(lambda x: x != "", strings)) 
    str_index=strings.index(small_str) 
    of.write(small_str) 
    strings[str_index]=sorted_files[str_index].readline() 
    if all(i =="" for i in strings): 
    eofs=1 

Als Benchmark ich dies mit rund 6,5 Millionen Zeilen in einer Datei geprüft (~ 700 MB) Sie paginieren sie in 500.000 Zeilen, sortieren sie dann in lexikographischer Reihenfolge und sortieren sie (genau zusammengeführt) mit dem obigen Code, so dass ungefähr 128 Dateien zusammengeführt wurden (ich hatte versehentlich eine 2 Milliarden Zeilen Datei) löschte es, beim Löschen der Seiten Dateien), ein d es die Datei sortiert und gefundenen Duplikate in 16 min:

real 15m54.375s 
user 15m52.096s 
sys 0m3.000s 

Das war mein erstes Skript dieser Art würde ich mich sehr freuen, wenn Sie mir etwas Futter geben könnte zurück, als ob die Seitengröße war angemessen, und ob die verwendeten Sortiermethoden korrekt waren. Die Seitendateien wurden schnell generiert und sortiert, jedoch am meisten zusammengeführt.