Lesen Sie eine Datei mit mehreren Threads in Python in Blöcken von 2 KB.

Question

Ich muss eine Datei in Blöcken von 2KB lesen und einige Operationen auf diesen Chunks durchführen. Jetzt wo ich eigentlich feststecke ist, wenn die Daten threadsicher sein müssen. Nach dem, was ich in Online-Tutorials und StackOverflow-Antworten gesehen habe, definieren wir einen Arbeitsthread und überschreiben dessen Laufmethode. Die run-Methode verwendet Daten aus einer Warteschlange, die wir als Argument übergeben und die die tatsächlichen Daten enthält. Aber um diese Warteschlange mit Daten zu laden, muss ich die Datei seriell durchlaufen, wodurch die Parallelität eliminiert wird. Ich möchte, dass mehrere Threads die Datei parallel lesen. Also muss ich nur den Leseteil in der Lauffunktion abdecken. Aber ich bin mir nicht sicher, wie ich damit verfahren soll. Hilfe benötigt.

Answer 1

Die Datei seriell lesen ist die beste Option, da sie (hardwareseitig) die beste Lesbarkeit bietet.

Normalerweise der langsame Teil ist in der Datenlese nicht aber in seiner Verarbeitung ...