Ich verwende dask, um eine große Anzahl von Aufgaben zu verteilen.Dask verteilt Arbeit stehlen
Alle Aufgaben sind unabhängig und bestehen darin, eine externe Anwendung auszuführen.
Abhängig vom verwendeten Server und den Eingabeargumenten kann sich die Zeit zur Verarbeitung einer Aufgabe unterscheiden.
Zu einem bestimmten Zeitpunkt haben einige Mitarbeiter keine Aufgaben mehr zu bearbeiten und warten darauf, dass andere Mitarbeiter die verbleibenden Aufgaben bearbeiten. Siehe die Bokeh Screenshot unten:
Die Dokumentation spricht über ‚work stealing‘, aber es scheint, es gilt hier nicht. Kann ich verteilen, um die Aufgaben unter den Arbeitern neu zu verteilen?
Was ist die Ausgabe von 'Import verteilt; verteilt .__ Version__'? – MRocklin
Ich verwende distributed 1.15.1 & dask 0.13.0 – Bertrand
Würde es Ihnen etwas ausmachen, zu aktualisieren und zu sehen, ob sich dieses Verhalten ändert? – MRocklin