Python: Wie gehe ich mehrere Zeilen gleichzeitig in einer Datei durch?

Question

Ich habe eine Klasse erstellt, die eine Datei durchläuft und nachdem sie überprüft hat, ob eine Zeile gültig ist, schreibt sie diese Zeile in eine andere Datei. Jede Zeile, die es überprüft, ist ein langwieriger Prozess, der es sehr langsam macht. Ich muss Threading/Multiprocessing in der Funktion process_file implementieren; Ich weiß nicht, welche Bibliothek am besten geeignet ist, um diese Funktion zu beschleunigen oder zu implementieren.

class FileProcessor: 
    def process_file(self): 
     with open('file.txt', 'r') as f: 
      with open('outfile.txt', 'w') as output: 
       for line in f: 
        # There's some string manipulation code here... 
        validate = FileProcessor.do_stuff(self, line) 
        # If true write line to output.txt 
    def do_stuff(self, line) 
     # Does stuff... 
     pass 

Zusätzliche Informationen: Der Code einer Proxy-Liste geht durch Prüfen, ob er online ist. Dies ist ein langwieriger und zeitraubender Prozess.

Vielen Dank für einen Einblick oder Hilfe!

Answer 1

Der Code geht über eine Proxy-Liste überprüft, ob er online ist

Es klingt wie das, was dauert eine lange Zeit mit dem Internet verbindet, was bedeutet, Ihre Aufgabe IO gebunden ist und somit Fäden Geschwindigkeit helfen es auf. Mehrere Prozesse sind immer anwendbar, können jedoch schwieriger zu verwenden sein.

Answer 2

Dies scheint ein Job für multiprocessing.map.

import multiprocessing 

def process_file(filename): 
    pool = multiprocessing.Pool(4) 
    with open(filename) as fd: 
     results = pool.imap_unordered(do_stuff, (line for line in fd)) 
     with open("output.txt", "w") as fd: 
      for r in results: 
       fd.write(r) 

def do_stuff(item): 
    return "I did something with %s\n" % item 

process_file(__file__) 

Sie können auch multiprocessing.dummy.Pool stattdessen verwenden, wenn Sie möchten Threads verwenden (die in diesem Fall vorzuziehen sein könnte, da Ihre I/O-bound).

Im Wesentlichen übergeben Sie ein iterable zu imap_unordered (oder imap, wenn die Bestellung wichtig ist) und Austeilen von Teilen davon zu anderen Prozessen (oder Threads, wenn Dummy verwenden). Sie können die chunksize der Karte optimieren, um die Effizienz zu verbessern. Wenn Sie dies in eine Klasse einkapseln möchten, müssen Sie multiprocessing.dummy verwenden. (Andernfalls kann die Instanzmethode nicht verwendet werden.)

Sie müssen warten, bis die Karte fertig ist, bevor Sie die Ergebnisse verarbeiten können, obwohl Sie stattdessen die Ergebnisse in do_stuff schreiben könnten - nur sicher sein, die Datei zu öffnen im Append-Modus, und Sie werden wahrscheinlich lock the file wollen.