Der beste Weg, um 3-4 Spalten in einer Tabelle von 30 Millionen täglichen Aufzeichnungen zu aktualisieren

Question

Ich habe eine Tabelle, die etwa 25-30 Millionen Zeilen und 15 Spalten hat. Die meisten von ihnen sind statisch oder erhalten Echtzeit-Updates. Aber für einige der Spalten (3 bis 4) bekomme ich die Daten von hdfs einmal pro Tag und aktualisiere es, was bedeutet, dass diese Spalten einmal am Tag aktualisiert werden müssen.

Ich habe versucht, eine neue Tabelle aus der hdfs-Ausgabe zu erstellen und dabei auf die Haupttabelle zu kommen, aber das scheint ewig zu dauern. Ich habe versucht, Batch-Updates zu tun, aber das dauert auch zu lange.

Was ist der beste Weg, dies zu tun?

ich Postgres als meine db

Answer 1

beste Weg, um eine Leistung von Update/Insert-Abfrage zu verbessern verwende ist durch einen Bulk Insert mit/Aktualisieren

Bitte einen Blick auf Beiträge unter denen haben helfen Sie:

MySQL bulk INSERT or UPDATE

Does splitting up an update query improve performance

Answer 2

Ich würde etwas wie das Erstellen einer neuen Tabelle mit dem Befehl CREATE TABLE AS ... versuchen, indem ich eine Verknüpfung zwischen der neuen Tabelle und der Tabelle, die Sie mit den Stapeldaten erstellen, anstelle der Aktualisierung der alten Tabelle verwende.

http://www.postgresql.org/docs/9.4/static/sql-createtableas.html

Wenn Sie platzieren, dass innerhalb einer Transaktion, können Sie es in einer Funktion setzen können, und danach können Sie nur die Tabellen umbenennen, um sie zu wechseln oder einfach nur das alte entfernen und das neue umbenennen.

Ich habe Prozesse gesehen, wo diese Strategie wie eine Uhr für Batch-Jobs funktioniert (Erstellen einer neuen Tabelle ist schneller als das Aktualisieren der alten).

Sie müssen es testen und sehen, ob das für Ihre Tabellen passt, und auch die Indizes, die Sie haben.

Viel Glück!

Hinweis: Sie müssen auch die Indizes und Einschränkungen der neuen Tabelle als create-Tabelle hinzufügen, da sie diese nicht enthalten.