Wie Generator in os Funktion wie Wrapper verwenden?

Question

Ich habe eine Funktion in Python, die wie find Befehl funktioniert. Also im Grunde wird es in die Tiefe gehen, bis es m_depth(maxdepth) erreicht und nicht in das Verzeichnis gehen, wenn es in ignore_dirs spezifiziert ist. Es wird eine Liste von Dateien zurückgegeben, die in einem walk gefunden wird. Der Code ist wirklich einfach und verwendet Rekursion.

Aber für eine große Anzahl von Dateien oder größere Tiefe dauert die Rekursion Zeit und die Liste wird größer, wenn sie zurückkehrt. Ich suche also, ob der Generator überhaupt verwendet werden kann, also zumindest der Speicherverbrauch bei jeder Iteration geringer ist?

Ich habe versucht mit yield ing das Ergebnis, aber dann ist es immer wenn eine ignore_dirs gefunden wird.

Dies ist der Code, den ich habe:

def find(source_d, m_depth, ignore_dirs): 
    ''' 
    This method does a recursive listing of files/directories from a given 
    path upto maximun recursion value provide as m_depth. 

    :param source_d: Given source path to start the recursion from 
    :param m_depth: Maximum recursion depth [determines how deep the method will traverse through the file system] 
    :param ignore_dirs: this paths will not be traversed. List of strings. 
    ''' 

    def helper_find(path, ignore_dirs, m_depth, curr_depth=1): 
     files = [] 
     if any(ignore_sub_dir == os.path.split(path)[-1] for ignore_sub_dir in ignore_dirs): 
      return [] 

     if m_depth < curr_depth: 
      return [] 

     else: 
      things = os.listdir(path) 

      for thing in things: 
       if(os.path.isdir(os.path.join(path, thing))): 
        files.extend(helper_find(os.path.join(path, thing), ignore_dirs, m_depth, curr_depth+1)) 

       else: 
        files.append(os.path.join(path, thing)) 

     return files 

    return helper_find(source_d, ignore_dirs, m_depth) 

Answer 1

Die Antwort ja ist, können Sie eine rekursive Generator yield from unter Verwendung machen können (nur in Python 3):

def find(source_d, m_depth, ignore_dirs): 
    ''' 
    This method does a recursive listing of files/directories from a given 
    path upto maximun recursion value provide as m_depth. 

    :param source_d: Given source path to start the recursion from 
    :param m_depth: Maximum recursion depth [determines how deep the method will traverse through the file system] 
    :param ignore_dirs: this paths will not be traversed. List of strings. 
    ''' 
    def helper_find(path, ignore_dirs, m_depth, curr_depth=1): 
     if not any(ignore_sub_dir == os.path.split(path)[-1] for ignore_sub_dir in ignore_dirs)and m_depth >= curr_depth: 

      things = os.listdir(path) 

      for thing in things: 
       if(os.path.isdir(os.path.join(path, thing))): 
        yield from helper_find(os.path.join(path, thing), ignore_dirs, m_depth, curr_depth+1) 

       else: 
        yield os.path.join(path, thing) 

    return helper_find(source_d, ignore_dirs, m_depth)