Erzwingen von os.walk zu stoppen, wenn zu lange dauern

Question

Ich möchte alle Dateien in einem Verzeichnisbaum mit einer bestimmten Dateierweiterung finden. Einige Ordner sind jedoch sehr groß und daher möchte ich diesen Vorgang stoppen, wenn es zu lange dauert (etwa 1 Sekunde). Meine aktuellen Code sieht in etwa wie folgt aus:

import os 
import time 

start_time = time.time() 
file_ext = '.txt' 
path = 'C:/' 
file_list = [] 
for root, dirs, files in os.walk(path): 
    for file in files: 
     if file.endswith(file_ext): 
      relDir = os.path.relpath(root, path) 
      relFile = os.path.join(relDir, file) 
      file_list.append(relFile) 
     if time.time() - start_time> 1: 
      break 
    if time.time() - start_time> 1: 
     break 

Das Problem mit diesem Code ist, dass, wenn ich zu einem wirklich großen Unterordner bekommen, dieser Code nicht brechen, bis der Ordner vollständig durchlaufen wurde. Wenn dieser Ordner viele Dateien enthält, kann es viel länger dauern, als ich möchte. Kann ich irgendwie sicherstellen, dass der Code nicht viel länger als die zugewiesene Zeit läuft?

Edit: Beachten Sie, dass, obwohl es sicherlich hilfreich ist, Wege zu finden, um den Code zu beschleunigen (zum Beispiel mit os.scandir), diese Frage in erster Linie befasst sich mit einem laufenden Prozess zu töten.

Answer 1

Sie können den Schritt in einem Subprozess tun und das töten. Zu den Optionen gehören multiprocessing.Process, aber die Multiprocessing-Bibliotheken unter Windows müssen möglicherweise eine Menge Arbeit verrichten, die Sie nicht benötigen. Stattdessen können Sie den Walker-Code einfach in einen Python-Subprozess pipen und von dort aus gehen.

import os 
import sys 
import threading 
import subprocess as subp 

walker_script = """ 
import os 
import sys 
path = os.environ['TESTPATH'] 
file_ext = os.environ['TESTFILEEXT'] 

# let parent know we are going 
print('started') 

for root, dirs, files in os.walk(path): 
    for file in files: 
     if file.endswith(file_ext): 
      relDir = os.path.relpath(root, path) 
      relFile = os.path.join(relDir, file) 
      print(relFile) 
""" 

file_ext = '.txt' 
path = 'C:/' 

encoding = sys.getdefaultencoding() 

# subprocess reads directories... additional python flags seek to 
# speed python initialization. If a linuxy system, forking would 
# be a good option. 

env = {'TESTPATH':path, 'TESTFILEEXT':file_ext} 
env.update(os.environ) 
proc = subp.Popen([sys.executable, '-E', '-s', '-S', '-'], stdin=subp.PIPE, 
    stdout=subp.PIPE,  # , stderr=open(os.devnull, 'wb')) 
    env = env) 

# write walker script 
proc.stdin.write(walker_script.encode('utf-8')) 
proc.stdin.close() 

# wait for start marker 
next(proc.stdout) 

# timer kills directory traversal when bored 
threading.Timer(1, proc.kill).start() 

file_list = [line.decode(encoding).strip() for line in proc.stdout] 
print(file_list)