beschleunigen große Ergebnismenge Verarbeitung mit rmongodb

Question

Ich benutze rmongodb, um jedes Dokument in einer bestimmten Sammlung zu bekommen. Es funktioniert, aber ich arbeite mit Millionen kleiner Dokumente, möglicherweise 100 Millionen oder mehr. Ich bin mit der vom Autor auf der Website vorgeschlagene Methode: cnub.org/rmongodb.ashx

count <- mongo.count(mongo, ns, query) 
cursor <- mongo.find(mongo, query) 
name <- vector("character", count) 
age <- vector("numeric", count) 
i <- 1 
while (mongo.cursor.next(cursor)) { 
    b <- mongo.cursor.value(cursor) 
    name[i] <- mongo.bson.value(b, "name") 
    age[i] <- mongo.bson.value(b, "age") 
    i <- i + 1 
} 
df <- as.data.frame(list(name=name, age=age)) 

Dies funktioniert gut für Hunderte oder Tausende von Ergebnissen, aber die while-Schleife sehr, sehr langsam. Gibt es eine Möglichkeit, dies zu beschleunigen? Vielleicht eine Chance für Multiprocessing? Irgendwelche Vorschläge würden geschätzt werden. Ich bin durchschnittlich 1M pro Stunde und bei dieser Rate brauche ich nur eine Woche, um den Datenrahmen aufzubauen.

EDIT: Ich habe festgestellt, dass je mehr Vektoren in der While-Schleife, desto langsamer wird es. Ich versuche jetzt, für jeden Vektor getrennt zu loopen. Sieht immer noch wie ein Hack aus, es muss einen besseren Weg geben.

Edit 2: Ich habe etwas Glück mit data.table. Es ist immer noch läuft, aber es sieht aus wie es die 12M beenden wird (dies ist mein aktuelles Test-Set ist) in 4 Stunden, das ist Fortschritt, aber bei weitem nicht ideal

dt <- data.table(uri=rep("NA",count), 
       time=rep(0,count), 
       action=rep("NA",count), 
       bytes=rep(0,count), 
       dur=rep(0,count)) 

while (mongo.cursor.next(cursor)) { 
    b <- mongo.cursor.value(cursor) 
    set(dt, i, 1L, mongo.bson.value(b, "cache")) 
    set(dt, i, 2L, mongo.bson.value(b, "path")) 
    set(dt, i, 3L, mongo.bson.value(b, "time")) 
    set(dt, i, 4L, mongo.bson.value(b, "bytes")) 
    set(dt, i, 5L, mongo.bson.value(b, "elaps")) 

}

Answer 1

Sie könnten die mongo.find.exhaust Option versuchen wollen

cursor <- mongo.find(mongo, query, options=[mongo.find.exhaust]) 

Dies wäre die einfachste Lösung, wenn es tatsächlich für Ihren Anwendungsfall funktioniert.

Der Rmongodb-Treiber scheint jedoch einige zusätzliche Funktionen auf anderen Treibern fehlen. Zum Beispiel hat der JavaScript-Treiber eine Cursor.toArray Methode. Dadurch werden alle Suchergebnisse direkt in einem Array gespeichert. Der R-Treiber hat eine mongo.bson.to.list Funktion, aber eine mongo.cursor.to.list ist wahrscheinlich, was Sie wollen. Es lohnt sich wahrscheinlich, den Treiberentwickler um Rat zu fragen.

Eine hacky Lösung könnte sein, eine neue Sammlung zu erstellen, deren Dokumente Daten "Chunks" von 100000 der Originaldokumente sind. Dann könnten diese alle effizient mit mongo.bson.to.list gelesen werden. Die Chunked-Sammlung könnte mithilfe der MapReduce-Funktion des Mongo-Servers erstellt werden.

Answer 2

Ich kenne keine schnellere Möglichkeit, dies in einer allgemeinen Weise zu tun. Sie importieren Daten aus einer fremden Anwendung und arbeiten mit einer interpretierten Sprache und es gibt keine Möglichkeit, dass rmongodb die Struktur der Dokumente in der Sammlung vorhersehen kann. Der Prozess ist von Natur aus langsam, wenn Sie mit Tausenden von Dokumenten arbeiten.