Wie man eine guten Generator Verkettungs Funktion

Question

Ich habe folgende Funktionen schreiben: zu tun

def read_data(file_location): 
    for line in open(file_location): 
     # pre-process the line 
     yield line 

def transform_1(data): 
    for line in data: 
     # change line in some way 
     yield line 

def transform_2(data): 
    for line in data: 
     # change line in some other way 
     yield line 

def process_file(file_location): 
    # Some description 
    # 
    # returns: 
    #  generator 
    data = read_data(file_location) 
    data = transform_1(data) 
    data = transform_2(data) 
    return data 

Was ich versuche, Zeilen aus einer Datei zu lesen, jede Zeile mit einer Reihe von Funktionen umsetzen, und dann tun etwas mit den resultierenden Linien. Ich möchte nicht alle Zeilen auf einmal lesen, da die Datei ziemlich groß ist.

Meine Frage ist, ob ich das richtig mache. Der Code wird korrekt ausgeführt, aber die Programmausführung in meinem Kopf fühlt sich so kompliziert an, dass ich keine Ahnung habe, ob ich diesen Code in etwa einem Monat verarbeiten kann.

Also was ich wissen will ist: Gibt es eine Art Programmierungsmuster, das zeigt, wie Generatoren richtig miteinander verkettet werden?

Answer 1

Angenommen, jede Zeile wird auf die gleiche Weise transformiert, können Sie Ihre Transformationsfunktionen auf jede Zeile anwenden und einen Generator verwenden, um über alle Zeilen zu iterieren, persönlich finde ich das besser lesbar.

def transform_1(line): 
    return line.replace(' ','') # example of transformation 

def transform_2(line): 
    return line.strip('#') 

def process_file(file_location): 
    with open(file_location) as in_f: 
     for line in in_f: 
      yield transform_2(transform_1(line)) 

Je nachdem, was die Transformationen zu tun, könnten sie möglicherweise in eine einzige Funktion kombiniert werden, aber es ist schwer, ohne mehr Kontext zu kennen.

Answer 2

Eigentlich ist das gut gemacht. Ich bin mir nicht sicher, warum sich der Code für dich verdreht anfühlt. Der Schlüssel ist, dass jede Funktion nur eine Sache macht, sondern ein Plus. Offensichtlich sollten die Funktionsnamen die Art der durchgeführten Transformationen widerspiegeln. Code wie dieser ist sehr überprüfbar und wartbar. Wenn Sie in sechs Monaten eine Änderung an der Pipeline vornehmen müssen, werden Sie vielleicht überrascht sein, wie einfach es ist, das Teil zu finden, das angepasst werden muss und die Änderung vornehmen muss.

Ich würde vorschlagen, Ihr read_data Generator wie folgt zu ändern:

def read_data(file_location): 
    with open(file_location) as f: 
     for line in f: 
      yield line