Ich möchte ein Programm schreiben, das die Zeit zum Einlesen eines Ordners mit .py Dateien berechnet und berechnen Sie die zyklomatische Komplexität jeder Datei. Ich habe Radon installiert, um die Komplexität zu berechnen, aber ich möchte auch in der Lage sein, ein verteiltes System zu implementieren, das eine Gruppe von n Arbeitern erstellt, wobei jeder Arbeiter eine separate Datei in dem Ordner erhält, die dann mit Radon berechnet wird.Python + Distributed - Ist es möglich, mit Dask eine Gruppe von Arbeitern zu verwenden, um eine Funktion gleichzeitig auf Dateien aus einem Ordner anzuwenden
Ich benutze dask für das verteilte System und fragte mich, ob es möglich ist, das zu erreichen, was ich oben gefragt habe. I.e. Wenn ich einen Ordner mit 10 .py-Dateien habe, kann ich einen Worker erstellen, der alle Dateien einliest und die Komplexität berechnet. Dann protokolliert mein Programm die dafür benötigte Zeit. Oder ich könnte 10 Arbeiterknoten angeben, die nach Arbeit suchen (d. H. Die zu berechnenden Dateien), und jeder wird eine Datei nehmen und gleichzeitig laufen, dann protokolliert das Programm die Zeit, die dafür benötigt wurde.
Ich habe das Basisprogramm eingerichtet, das dask verwendet, das eine Funktion aufruft, bin aber unsicher, wenn Sie eine Liste von Elementen geben können, die über eine Gruppe von Arbeitern verteilt wird, die dann die Funktion aufrufen und die Ergebnisse zurückgeben.
Ist dies mit demask möglich?
Kurze Antwort: Ja, das ist durchaus möglich, und sehr viel ein typisches Muster für dask. Wenn Sie Ihre Probleme vielleicht beschreiben könnten, könnten wir Ihnen vielleicht mehr helfen? – mdurant
Ich versuche, einen REST-Dienst zu entwickeln, der einen Ordner (mit einer Reihe von Python-.py-Dateien) zur Verfügung gestellt wird, möchte ich das Programm die Komplexität jeder Datei berechnen, mein Programm protokolliert dann die Zeit, die es dauert, im Wesentlichen Die Funktion, in diesem Fall die Berechnung der Komplexität, ist nicht von Belang, ich möchte nur eine Gruppe von n Arbeitern dazu bringen, jede noch nicht analysierte Datei zu analysieren und zu analysieren. Im Wesentlichen möchte ich, dass dieses Programm veranschaulicht, dass mit der Hinzufügung von Arbeitern die Zeit verringert wird, um diese Aufgabe für einen Ordner von Dateien auszuführen –