Filterdateien in einem sehr großen Ordner

Question

Ich habe einen Ordner mit 100k Textdateien. Ich möchte Dateien mit mehr als 20 Zeilen in einen anderen Ordner legen. Wie mache ich das in Python? Ich habe os.listdir benutzt, aber natürlich ist nicht genug Speicher vorhanden, um die Dateinamen in den Speicher zu laden. Gibt es eine Möglichkeit, um vielleicht 100 Dateinamen gleichzeitig zu erhalten?

Hier ist mein Code:

import os 
import shutil 

dir = '/somedir/' 

def file_len(fname): 
    f = open(fname,'r') 
    for i, l in enumerate(f): 
     pass 
    f.close() 
    return i + 1 

filenames = os.listdir(dir+'labels/') 

i = 0 
for filename in filenames: 
    flen = file_len(dir+'labels/'+filename) 
    print flen 
    if flen > 15: 
     i = i+1 
     shutil.copyfile(dir+'originals/'+filename[:-5], dir+'filteredOrigs/'+filename[:-5]) 
print i 

und Ausgang:

Traceback (most recent call last): 
    File "filterimage.py", line 13, in <module> 
    filenames = os.listdir(dir+'labels/') 
OSError: [Errno 12] Cannot allocate memory: '/somedir/' 

Hier ist das modifizierte Skript:

import os 
import shutil 
import glob 

topdir = '/somedir' 

def filelen(fname, many): 
    f = open(fname,'r') 
    for i, l in enumerate(f): 
     if i > many: 
      f.close() 
      return True 
    f.close() 
    return False 

path = os.path.join(topdir, 'labels', '*') 
i=0 
for filename in glob.iglob(path): 
    print filename 
    if filelen(filename,5): 
     i += 1 
print i 

es funktioniert auf einem Ordner mit weniger Dateien, aber mit dem größeren Ordner, alles, was es druckt ist "0" ... Funktioniert auf Linux-Server, druckt 0 auf Mac ... oh well ...

Answer 1

Sie könnten mit glob.iglob versuchen, die einen Iterator zurückgibt:

topdir = os.path.join('/somedir', 'labels', '*') 
for filename in glob.iglob(topdir): 
    if filelen(filename) > 15: 
      #do stuff 

bitte auch nicht dir für einen Variablennamen verwenden Sie: Sie können die Einbau-Shadowing sind. Eine weitere wichtige Verbesserung, die Sie einführen können, ist Ihre filelen Funktion. Wenn Sie es durch Folgendes ersetzen, sparen Sie viel Zeit. Vertrauen Sie mir, what you have now is the slowest alternative:

def many_line(fname, many=15): 
    for i, line in enumerate(open(fname)): 
     if i > many: 
      return True 
    return False 

Answer 2

import os,shutil 
os.chdir("/mydir/") 
numlines=20 
destination = os.path.join("/destination","dir1") 
for file in os.listdir("."): 
    if os.path.isfile(file): 
     flag=0 
     for n,line in enumerate(open(file)): 
      if n > numlines: 
       flag=1 
       break 
     if flag: 
      try: 
       shutil.move(file,destination) 
      except Exception,e: print e 
      else: 
       print "%s moved to %s" %(file,destination) 

Answer 3

Ein paar Gedanken. Zuerst könnten Sie das Modul glob verwenden, um kleinere Gruppen von Dateien zu erhalten. Zweitens wird das Sortieren nach Zeilenanzahl sehr zeitaufwendig sein, da Sie jede Datei öffnen und Zeilen zählen müssen. Wenn Sie nach Byteanzahl partitionieren können, können Sie das Öffnen der Dateien vermeiden, indem Sie das Modul stat verwenden. Wenn es wichtig ist, dass die Aufteilung nach 20 Zeilen erfolgt, können Sie zumindest große Dateimengen ausschneiden, indem Sie eine Mindestanzahl an Zeichen ermitteln, die eine Datei mit 20 Zeilen Ihres Typs haben soll, und keine Datei kleiner als diese öffnen.

Answer 4

wie etwa ein Shell-Skript?

for f in `ls`; 
loop 
if `wc -l f`>20; then 
    mv f newfolder 
fi 
end loop 

ppl bitte korrigieren, wenn ich falsch bin in keiner Weise

Answer 5

Die derzeit akzeptierte Antwort einfach nur nicht funktioniert: Sie konnte eine Datei auf einmal auswählen. Diese Funktion:

def many_line(fname, many=15): 
    for i, line in enumerate(line): 
     if i > many: 
      return True 
    return False 

hat zwei Probleme: Erstens ist die fname arg nicht verwendet wird, und die Datei nicht geöffnet wird. Zweitens wird der Aufruf an enumerate(line) fehlschlagen, da line nicht definiert ist.

Ändern enumerate(line) zu enumerate(open(fname)) wird es beheben.