PyMySQL verschiedene Updates in einer Abfrage?

Question

Also habe ich ein Python-Skript, das ungefähr 350.000 Datenobjekte durchläuft, und abhängig von einigen Tests muss es eine Zeile aktualisieren, die jedes dieser Objekte in einer MySQl-Datenbank darstellt. Ich benutze auch pymysql, da ich die geringsten Probleme damit hatte, vor allem, wenn große Select-Abfragen gesendet werden (Select-Anweisungen mit where column IN (....)-Klausel, die mehr als 100.000 Werte enthalten kann).

Da jedes Update für jede Zeile unterschiedlich sein kann, ist jede Update-Anweisung anders. Beispielsweise möchten wir für eine Zeile möglicherweise first_name aktualisieren, aber für eine andere Zeile möchten wir first_name unverändert lassen und wir möchten last_name aktualisieren.

Deshalb möchte ich nicht die cursor.executemany() Methode verwenden, die eine generische update-Anweisung und Sie füttert es die Werte wie ich bereits erwähnt, jedes Update ist anders, so dass eine generische update-Anweisung nicht wirklich arbeite für meinen Fall. Ich möchte auch nicht über 350.000 Update-Anweisungen einzeln über die Leitung senden. Kann ich sowieso alle meine Update-Anweisungen zusammenpacken und sie sofort senden?

Ich habe versucht, sie alle in einer Abfrage und mit der cursor.execute()-Methode, aber es scheint nicht alle Zeilen zu aktualisieren.

Answer 1

SQL # 1: CREATE TABLE t mit Spalten, die Sie möglicherweise ändern müssen. Machen Sie alle von ihnen NULL (im Gegensatz zu NOT NULL).

SQL # 2: Führen Sie eine Massenänderung INSERT (oder LOAD DATA) aller erforderlichen Änderungen durch. Wenn Sie beispielsweise nur first_name ändern, geben Sie id und first_name ein, haben Sie jedoch die anderen Spalten NULL.

SQL # 3-14:

UPDATE real_table 
    JOIN t ON t.id = real_table.id 
    SET real_table.first_name = t.first_name 
    WHERE t.first_name IS NOT NULL; 
# ditto for each other column. 

Alle SQLs außer # 1 wird zeitaufwändig sein. Und da UPDATE ein Undo-Protokoll erstellen muss, könnte es Timeout oder anderweitig problematisch sein. Siehe a discussion of chunking, falls erforderlich.

Verwenden Sie bei Bedarf Funktionen wie COALESCE(), GREATEST(), IFNULL() usw.

Massen UPDATEs in der Regel schlechte Schema-Design bedeuten.

(Wenn Ryan springt mit einer ‚Antwort‘, anstatt nur einen ‚Kommentar‘, soll er wahrscheinlich bekommt die ‚Bounty‘. In)

Answer 2

Ihre beste Leistung sein, wenn Sie Ihre „Tests“ in kodieren die SQL-Logik selbst, so können Sie alles auf eine Handvoll UPDATE-Anweisungen herunterkochen. Oder zumindest so viele wie möglich machen, so dass weniger Zeilen einzeln aktualisiert werden müssen.

Zum Beispiel:

UPDATE tablename set firstname = [some logic] 
WHERE [logic that identifies which rows need the firstname updated]; 

Sie beschreiben nicht viel über Ihre Tests, so dass es schwierig ist, sicher zu sein. Aber mit ein bisschen Arbeit können Sie in Ihrer WHERE-Klausel ziemlich viel Logik finden.

Eine andere Option wäre, Ihre Logik in eine gespeicherte Prozedur zu bringen. Sie werden immer noch 350.000 Updates machen, aber zumindest sind sie nicht alle "über den Draht".Ich würde das nur als letzten Ausweg gebrauchen; Geschäftslogik sollte möglichst in der Anwendungsebene gespeichert werden, und gespeicherte Prozeduren machen Ihre Anwendung weniger portabel.