Abrufen von mehreren Dokumenten aus mongo cursor.next() für eine bessere Leistung

Question

Ich habe den folgenden Code-Arrays zu sammeln (wie eingelegte Dokumente in einer Sammlung Mongo gespeichert sind) und in eine Matrix numpy 2D Stack:

db = MongoClient()['db'] 
total = db.command('collStats', 'collection')['count'] 
collection = db['collection'] 

X, Y = np.array([]), np.array([]) 
pipe = [{'$sample': {'size': total}}] 
cursor = collection.aggregate(pipe, allowDiskUse=True) 

for i in range(1000): 
    try: 
     xy = pickle.loads(cursor.next()['array']) 
     if not np.size(X): 
      X, Y = xy[0:-1], xy[-1] 
     else: 
      X, Y = np.vstack((X, xy[0:-1])), np.vstack((Y, xy[-1])) 
    except StopIteration: 
     break 

Das ist extrem langsam. Wie kann ich das optimieren, zum Beispiel um mehrere Dokumente gleichzeitig von Mongo zu lesen? Alle anderen Optimierungstipps wären auch nützlich.

Answer 1

Der beste Weg, fand ich die Leistung verbessern:

1. Konvertieren jedes Element in einer Liste
2. anhängen, dass die Liste in eine Liste von Listen
3. Konvertieren in ein 2D-numpy Array

Also, für meinen Fall, wie folgt:

xy = pickle.loads(curosor.next()['array']).tolist() 
X, Y = [xy[0:-1]], [[xy[-1]]] 

for i in range(1000): 
    try: 
     xy = pickle.loads(cursor.next()['array']).tolist() 
    except StopIteration: 
     break 
    X.append(xy[0:-1]) 
    Y.append([xy[-1]]) 

X, Y = np.array(X), np.array(Y) 

Verbesserte meine Leistung um den Faktor 50.

Answer 2

Es gibt eine cursor.toArray(), die alles auf einmal zurückgibt.