Dask: Bokeh und progressbar sehr langsam update

Question

Ich hatte einige Probleme mit der Visualisierung des Fortschritts bei meinen Aufgaben.

Ich habe die Statusseite auf dem 8787-Port verwendet, aber Visualisierungen erscheinen nicht immer so glatt (Aktualisierungsraten) wie das, was ich in Blogposts sehen kann.

Ich war ziemlich glücklich, wenn Sie die dask.diagnostics.progress verwenden, da es reibungslos lief und einen Timer hatte.

Aber dieses Mal, als ich versuchte, einen Datenrahmen zu erhalten, wurde mein Fortschritt blockiert (blieb bei 2,4 Sekunden und kam nie voran). Die Aktualisierung behebt das Problem nicht und auf der 8787 bekomme ich auch nicht viel Information. Irgendwelche Ideen, warum das passiert?

Answer 1

Der Fortschrittsbalken wird beendet, wenn die Berechnung fehlgeschlagen. Vielleicht möchten Sie überprüfen, ob users1 ein gutes Ergebnis liefert. Ein einfacher Weg, dies zu tun wäre, um eine billige Berechnung auf dem vollen Datenrahmen auslösen, wie len

>>> len(users1) 
Exception ... 

Weitere Gründe für die nicht-reaktionsFortSchrittsBalken eine schlechte Internet-Verbindung umfassen, oder einen sehr gesättigten Scheduler (wenn es Millionen von Aufgaben), aber beides scheint in Ihrer Situation nicht der Fall zu sein.