Dask Distributed: Einige Fehler nach Berechnungen

Ich führe Dask Distributed auf Linux CentOS 7, mit einer Python 3.6.2 Installation. Meine Berechnung scheint gut zu werden (ich verbessere meinen Code noch, aber ich kann einige Ergebnisse haben), aber ich bekomme immer wieder Python-Fehler, die scheinbar mit dem Tornado-Modul verbunden sind. Ich starte nur einen Standalone-Dask-Cluster mit einem Knoten.Dask Distributed: Einige Fehler nach Berechnungen

Hier ist die häufigste Beispiel:

Exception in thread Client loop: 
Traceback (most recent call last): 
    File "/usr/local/lib/python3.6/threading.py", line 916, in _bootstrap_inner 
    self.run() 
    File "/usr/local/lib/python3.6/threading.py", line 864, in run 
    self._target(*self._args, **self._kwargs) 
    File "/usr/local/lib/python3.6/site-packages/tornado/ioloop.py", line 832, in start 
    self._run_callback(self._callbacks.popleft()) 
AttributeError: 'NoneType' object has no attribute 'popleft'

Und hier ist ein anderes:

tornado.application - ERROR - Exception in callback <bound method WorkStealing.balance of <distributed.stealing.WorkStealing object at 0x7f752ce6d6a0>> 
Traceback (most recent call last): 
    File "/usr/local/lib/python3.6/site-packages/tornado/ioloop.py", line 1026, in _run 
    return self.callback() 
    File "/usr/local/lib/python3.6/site-packages/distributed/stealing.py", line 248, in balance 
    sat = s.rprocessing[key] 
KeyError: 'read-block-9024000000-e3fefd2110094168cc0505db69b326e0'

Haben Sie eine Idee, warum? Sollte ich einige Verbindungen schließen oder den Standalone-Cluster stoppen?

Quelle

2017-08-21 Guillaume EB

OK, direkt nachdem ich meine Frage gepostet habe, scheint es, dass das Hinzufügen von client.close() am Ende meines Codes diese Ausnahmen beseitigt. Vielleicht sollte dies in der Dokumentation erwähnt werden, ich konnte es nicht finden (aber ich kann manchmal etwas blind sein). –

Ja, wenn Sie den Tornado IOLoop vor dem Verlassen des Prozesses nicht schließen, kann er auf unangenehme Weise sterben. Glücklicherweise sollte dies Ihre Anwendung nicht beeinträchtigen, außer indem Sie unangenehm aussehen.

Sie könnten einen Fehlerbericht darüber einreichen, es ist immer noch etwas, das wir beheben sollten.

Quelle

2017-08-23 12:23:43 MRocklin

Dask Distributed: Einige Fehler nach Berechnungen

Antwort

Verwandte Themen