Vermeiden Sie das Poolen von Daten im Speicher. Wenn das Cursor-Objekt in Pymongo iteriert wird?

Question

Vermeiden Sie das Poolen von Daten im Speicher. Wenn das Cursor-Objekt in Pymongo iteriert wird?

Beispiel:

def iter(): 
    c=pymongo.Connection() 
    cursor=c.db.media.find().skip(0).limit(50000) 
    for item in cursor: 
     yield item 

Bevor es in Zyklus geht for gibt es etwa 2 minus Pause. Es lädt alle Daten im Speicher, bevor es aus irgendeinem Grund iteriert. Kann ich es irgendwie vermeiden?

Wenn ich es in Mongodb Shell alles ist in Ordnung.

Answer 1

Wissen Sie, ob das möglich ist? Wenn c.db.media.find() alles anstelle eines Iterators zurückgibt, bin ich mir nicht sicher, ob Sie viel tun können.

Answer 2

Schauen Sie sich die block_size-Methode des Cursors an. Damit können Sie festlegen, wie viel Sie im Voraus lesen. Ich sage, sollte, weil ich jetzt einige Probleme damit habe (Getting StopIteration exception on next(cursor) when modifying batch_size in pymongo), aber ich mache wahrscheinlich einen Fehler. block_size sollte dein Problem lösen.