Verwenden von Python-Modul von Drittanbietern, die Flask-Anwendung blockiert

Question

Meine Anwendung, die Websockets verwendet, verwendet auch mehrere Python-Module von Drittanbietern, die scheinbar so geschrieben sind, dass der Rest der Anwendung beim Aufruf blockiert wird. Zum Beispiel verwende ich xlrd, um Excel-Dateien zu analysieren, die ein Benutzer hochgeladen hat.

Ich habe Affe die builtins wie dies in den ersten Zeilen der Anwendung gepatcht:

import os 
import eventlet 
if os.name == 'nt': 
    eventlet.monkey_patch(os=False) 
else: 
    eventlet.monkey_patch() 

Dann benutze ich die folgende Aufgabe zu starten, die Anrufe zu xlrd enthält.

socketio.start_background_task(my_background_task) 

Was ist der geeignete Weg, diese anderen Module jetzt aufzurufen, damit meine Anwendung reibungslos funktioniert? Ist das Modul multiprocessing ein anderer Prozess innerhalb des begrünten Threads der richtige Weg zu starten?

Answer 1

• Zuerst sollten Sie Thread-Pool [1] ausprobieren.
• Wenn das nicht so gut funktioniert, wie Sie möchten, senden Sie bitte ein Problem [2] und gehen Sie mit Multiprocessing als Workaround.

eventlet.tpool.execute(xlrd_read, file_path, other=arg)

meth in einem Python Gewinde führen die aktuellen Koroutine/greenthread, bis das Verfahren abgeschlossen ist blockiert. Der primäre Anwendungsfall hierfür ist das Umbrechen eines Objekts oder Moduls, das nicht für Monkeypatching oder einen der anderen Tricks geeignet ist, mit denen Eventlet kooperatives Nachgeben erzielt. Mit tpool können Sie solche Objekte zwingen, mit grünen Threads zu kooperieren, indem Sie sie in native Threads stecken, wobei einige Overhead-Kosten anfallen.

[1] http://eventlet.net/doc/threading.html

[2] https://github.com/eventlet/eventlet/issues