2017-05-21 5 views
0

Ich verwende dask, um eine große Anzahl von Aufgaben zu verteilen.Dask verteilt Arbeit stehlen

Alle Aufgaben sind unabhängig und bestehen darin, eine externe Anwendung auszuführen.

Abhängig vom verwendeten Server und den Eingabeargumenten kann sich die Zeit zur Verarbeitung einer Aufgabe unterscheiden.

Zu einem bestimmten Zeitpunkt haben einige Mitarbeiter keine Aufgaben mehr zu bearbeiten und warten darauf, dass andere Mitarbeiter die verbleibenden Aufgaben bearbeiten. Siehe die Bokeh Screenshot unten:

enter image description here

Die Dokumentation spricht über ‚work stealing‘, aber es scheint, es gilt hier nicht. Kann ich verteilen, um die Aufgaben unter den Arbeitern neu zu verteilen?

+1

Was ist die Ausgabe von 'Import verteilt; verteilt .__ Version__'? – MRocklin

+0

Ich verwende distributed 1.15.1 & dask 0.13.0 – Bertrand

+0

Würde es Ihnen etwas ausmachen, zu aktualisieren und zu sehen, ob sich dieses Verhalten ändert? – MRocklin

Antwort

0

Ich vermute, dass dies in den letzten Versionen behoben wurde. Ich empfehle ein Upgrade.