Twisted callRemote

Question

Ich muss Remote-Anrufe tätigen, die ziemlich lange dauern können (über 60 Sekunden). Unser gesamter Code beruht auf der Verarbeitung des Rückgabewerts von callRemote. Das ist ziemlich schlimm, da wir die gesamte Zeit auf IO blockieren, obwohl twqisted + 50 Worker-Threads ausgeführt werden.

Wir verwenden derzeit so etwas wie

result = threads.blockingCallFromThread(reactor, callRemote, "method", args) 

und das Ergebnis erhalten/weitergehen, aber wie der Name schon sagt, es ist die Ereignisschleife ist blockiert, so dass wir nicht für mehrere Ergebnisse gleichzeitig warten.

Es gibt keine Möglichkeit, dass ich den gesamten Code umwandeln kann, um es asynchron zu machen, also denke ich, dass der einzige Weg ist, die langen IO-Aufgaben auf Threads zu verschieben.

Ich versuche, die Remote-Anrufe in Threads zu machen, aber ich kann keinen Weg finden, um das Ergebnis der blockierenden Anrufe zurück zu bekommen. Die RemoteCalls sind gemacht, das Ergebnis ist irgendwo, aber ich kann es einfach nicht verstehen.

Was ich versuche zur Zeit zu tun, sieht aus wie

reactor.callInThread(callRemote, name, *args, **kw) 

, die eine leere Latente zurück (warum?).

Ich versuche, das Ergebnis in eine Art Warteschlange zu bringen, aber es wird einfach nicht funktionieren. Wie mache ich das ?

Answer 1

AFAIK, blockingCallFromThread führt Code in reactor 's Thread. Deshalb funktioniert es nicht so, wie Sie es brauchen.

Wenn ich Sie richtig verstehe, müssen Sie einige Operation aus reactor s Thread verschieben und das Ergebnis in reactor s Thread erhalten.

Ich verwende Ansatz mit deferToThread für den gleichen Fall. Beispiel mit deferreds:

import time 
from twisted.internet import reactor, threads 

def doLongCalculation(): 
    time.sleep(1) 
    return 3 

def printResult(x): 
    print x 

# run method in thread and get result as defer.Deferred 
d = threads.deferToThread(doLongCalculation) 
d.addCallback(printResult) 
reactor.run() 

Auch könnten Sie in threads.deferToThreadPool interessiert.

Documentation about threading in Twisted.