MongoDB - Was ist der schnellste Weg, um alle Datensätze in einer Sammlung zu aktualisieren?

Question

Ich habe eine Sammlung mit 9 Millionen Datensätzen. Ich bin derzeit das folgende Skript die gesamte Sammlung zu aktualisieren:

simple_update.js

db.mydata.find().forEach(function(data) { 
    db.mydata.update({_id:data._id},{$set:{pid:(2571 - data.Y + (data.X * 2572))}}); 
}); 

Dies wird von der Kommandozeile ausgeführt werden, wie folgt:

mongo my_test simple_update.js 

Also alles, was ich bin doing ist ein neues Feld pid basierend auf einer einfachen Berechnung hinzufügen.

Gibt es einen schnelleren Weg? Dies kostet viel Zeit.

Answer 1

Es gibt zwei Dinge, die Sie tun können.

1. Senden Sie ein Update, wenn das Flag "multi" auf "true" gesetzt ist.
2. Speichern Sie die Funktion serverseitig und versuchen Sie es mit server-side code execution.

Dieser Zusammenhang auch die folgenden Ratschläge enthält:

Dies ist eine gute Methode zur Durchführung von Batch-Verwaltungsarbeit. Führen Sie Mongo auf dem Server aus und verbinden Sie sich über die Localhost-Schnittstelle. Die Verbindung ist dann sehr schnell und mit geringer Latenz. Dies ist freundlicher als db.eval(), da db.eval() andere Operationen blockiert.

Dies ist wahrscheinlich der schnellste, den Sie bekommen werden. Sie müssen erkennen, dass die Ausgabe von 9M-Updates auf einem einzelnen Server eine schwere Operation sein wird. Nehmen wir an, Sie könnten 3k Updates/Sekunde bekommen, Sie sprechen immer noch davon, dass Sie fast eine Stunde lang laufen.

Und das ist nicht wirklich ein "Mongo-Problem", das wird eine Hardwarebeschränkung sein.

Answer 2

Nicht sicher, ob es schneller sein wird, aber Sie könnten ein Multi-Update durchführen. Sagen Sie einfach update where _id > 0 (dies gilt für jedes Objekt) und setzen Sie dann das Flag 'multi' auf 'true' und es sollte dasselbe geschehen, ohne dass Sie die gesamte Sammlung durchlaufen müssen.

Check this out: MongoDB - Server Side Code Execution

Answer 3

Ich bin mit den: db.collection.update method

// db.collection.update(criteria, objNew, upsert, multi) // --> for reference 
db.collection.update({ "_id" : { $exists : true } }, objNew, upsert, true);