Erhalten Sie alle Elemente aus dem Thread Queue

Question

Ich habe einen Thread, der Ergebnisse in eine Warteschlange schreibt.

In einem anderen Thread (GUI), ich in regelmäßigen Abständen (im IDLE-Ereignis) überprüfen, ob es Ergebnisse in der Warteschlange befinden, wie folgt aus:

def queue_get_all(q): 
    items = [] 
    while 1: 
     try: 
      items.append(q.get_nowait()) 
     except Empty, e: 
      break 
    return items 

Ist dies ein guter Weg, es zu tun?

Edit:

Ich frage, weil manchmal die wartet Thread für ein paar Sekunden stecken bleibt, ohne dass neue Ergebnisse herausnehmen.

Das „stecken“ Problem stellte sich heraus zu sein, weil ich die Verarbeitung im Leerlauf Ereignishandler tat, ohne darauf achten, dass solche Ereignisse durch tatsächlich erzeugt werden wx.WakeUpIdle Aufruf, wie empfohlen.

Answer 1

Ich wäre sehr überrascht, wenn der get_nowait() Anruf die Pause von nicht zurückkehren, wenn die Liste leer verursacht.

Könnte es sein, dass Sie eine große Anzahl von (vielleicht großen?) Artikel zwischen den Prüfungen buchen, was bedeutet, dass der Empfänger-Thread eine große Menge an Daten aus dem Queue herausziehen? Sie könnten versuchen, die Nummer, die Sie in einer Charge abrufen zu beschränken:

def queue_get_all(q): 
    items = [] 
    maxItemsToRetreive = 10 
    for numOfItemsRetrieved in range(0, maxItemsToRetreive): 
     try: 
      if numOfItemsRetrieved == maxItemsToRetreive: 
       break 
      items.append(q.get_nowait()) 
     except Empty, e: 
      break 
    return items 

Dies würde zu einem Zeitpunkt, zu ziehen bis zu 10 Stück des Aufnahmegewinde begrenzen.

Answer 2

Ich sehe Sie verwenden get_nowait(), die entsprechend der Dokumentation „return [s] ein Element, wenn man sofort verfügbar ist, sonst heben die Leere Ausnahme“

Nun, passieren Sie aus der brechen Schleife, wenn eine leere Ausnahme ausgelöst wird. Wenn also in der Warteschlange kein Ergebnis verfügbar ist, gibt Ihre Funktion eine Liste leerer Elemente zurück.

Gibt es einen Grund, warum Sie nicht stattdessen die Methode get() verwenden? Es kann der Fall sein, dass get_nowait() fehlschlägt, weil die Warteschlange im gleichen Moment eine put() - Anfrage bearbeitet.

Answer 3

Wenn Sie immer alle verfügbaren Elemente aus der Warteschlange entfernen, gibt es einen wirklichen Vorteil bei der Verwendung einer Warteschlange statt nur einer Liste mit einer Sperre? dh:

from __future__ import with_statement 
import threading 

class ItemStore(object): 
    def __init__(self): 
     self.lock = threading.Lock() 
     self.items = [] 

    def add(self, item): 
     with self.lock: 
      self.items.append(item) 

    def getAll(self): 
     with self.lock: 
      items, self.items = self.items, [] 
     return items 

Wenn Sie auch einzeln, und die Nutzung des Sperrverhalten für leere Warteschlangen ziehen, dann sollten Sie Queue verwenden, aber Ihren Anwendungsfall sieht viel einfacher, und vielleicht besser durch die serviert werden über dem Ansatz.

[Edit2] Ich habe die Tatsache verpasst, dass Sie die Warteschlange von einer Leerlaufschleife abfragen, und von Ihrem Update sehe ich, dass das Problem nicht mit Konflikten verbunden ist, so ist der folgende Ansatz nicht t wirklich relevant für Ihr Problem. Ich habe es gelassen, falls jemand eine blockierende Variante dieses nützlichen findet:

Für Fälle, in denen Sie blockieren möchten, bis Sie mindestens ein Ergebnis erhalten, können Sie den obigen Code ändern, um auf Daten zu warten indem es vom Produzenten-Thread signalisiert wird. Z.B.

class ItemStore(object): 
    def __init__(self): 
     self.cond = threading.Condition() 
     self.items = [] 

    def add(self, item): 
     with self.cond: 
      self.items.append(item) 
      self.cond.notify() # Wake 1 thread waiting on cond (if any) 

    def getAll(self, blocking=False): 
     with self.cond: 
      # If blocking is true, always return at least 1 item 
      while blocking and len(self.items) == 0: 
       self.cond.wait() 
      items, self.items = self.items, [] 
     return items 

Answer 4

Ich denke, der einfachste Weg, um alle Elemente des Erhaltens aus der Warteschlange die folgende ist:

def get_all_queue_result(queue): 

    result_list = [] 
    while not queue.empty(): 
     result_list.append(queue.get()) 

    return result_list 

Answer 5

Wenn Sie in die Warteschlange fertig schreiben, WGröße sollte es tun, ohne um die Warteschlange zu überprüfen jede Iteration.

responseList = [] 
for items in range(0, q.qsize()): 
    responseList.append(q.get_nowait())