2010-12-16 15 views
13

Springen von Artikel zu Artikel, ich kann überall den Ausdruck "Massenladen" sehen.Was bedeutet "Massenladung"?

Was bedeutet es (technisch)?

Was bedeutet das?

Erläuterung basierend auf Anwendungsfällen ist willkommen.

Antwort

18

Indizes sind normalerweise für das Einfügen von Zeilen nacheinander optimiert. Wenn Sie sehr viele Daten gleichzeitig hinzufügen, ist das Einfügen von Zeilen nacheinander möglicherweise ineffizient. Bei einem B-Tree zum Beispiel ist der optimale Weg, einen einzelnen Schlüssel einzufügen, ein sehr schlechter Weg, um einen Haufen Daten zu einem leeren Index hinzuzufügen.

Stattdessen verfolgen Sie eine andere Strategie mit B-Trees. Sie ordnen alle Daten vor und gruppieren sie in Blöcken. Sie können dann einen neuen B-Baum erstellen, indem Sie die Blöcke in Baumknoten umwandeln. Obwohl beide Techniken die gleiche asymptotische Leistung haben, O (n log (n)), hat die Massenlastoperation einen viel kleineren Faktor.

6

Bulk Loading ist eine Methode zum Laden von Daten (typischerweise in eine Datenbank) in 'große Brocken'. Wenn Sie einen Kunden oder eine Bestellung oder Informationen zu Artikeln im Inventar einzeln in Ihr System eingeben, nimmt das Laden von Massen eine Datei dieser Art von Informationen in Anspruch und lädt in kurzer Zeit Hunderte/Tausende/Millionen von Datensätzen .

Wenn Sie von einer Art von DBMS zu einer anderen konvertieren, möchten Sie nicht alle Informationen aus der alten DB in die neue DB eingeben. Stattdessen würden Sie die Informationen aus der alten DB in eine Datei in einem Format ablegen, das von der neuen DB leicht gelesen werden kann, und diese Daten dann in die neue DB importieren.

Das ist, was Bulkbeladung Entails (am Fuß Ebene 35K, sowieso)

2

Bulk-Laden verwendet wird, um große Datenmengen zu importieren/exportieren. Normalerweise werden Massenvorgänge nicht protokolliert, und die Transaktionsintegrität funktioniert möglicherweise nicht wie erwartet. Bulk-Operationen umgehen häufig Trigger und Integritätsprüfungen wie Constraints. Dies verbessert die Leistung für große Datenmengen erheblich.

1

Eine Sache zu erinnern ist, dass Massenladen bedeutet, dass der Dateninhalt von der Quelle zum Ziel der gleiche ist, aber dies gilt nur, wenn das Quellsystem geduldet ist. Für jede Datenquelle und insbesondere für große Daten können sich die Quelldaten ändern, nachdem sie gelesen wurden und die Datenübertragung stattfindet. Herkömmliche Online-Systeme müssen entweder offline gehen oder Aktualisierungen aussetzen, wenn eine genaue Erfassung mit der Quelle erforderlich ist.