Aktualisieren mehrerer Werte in einer SQLite-Spalte mit Python

Question

Ich habe eine SQLite-Tabelle mit einer konstanten Anzahl von Zeilen. Aber während ich Werte erzeuge, die von einigen dieser Spalten abgeleitet sind (neue Features), möchte ich neben vorhandenen Spalten Spalten hinzufügen, ohne neue Zeilen zu erstellen. Ich kann eine Spalte mit ALTER TABLE hinzufügen, aber Aufruf cur.executemany("INSERT INTO...") bewirkt, dass die Werte in neuen Zeilen angehängt werden.

Ich habe versucht:

cur.executemany("UPDATE DOS_APPENDIX SET FEATURE2=?", [(val,) for val in ["a", "b", "c"]])

Aus irgendeinem Grund dies die "c" führt über die Reihen 1, 2, 3 in der Spalte FEATURE2 dupliziert werden. Und es ist langsam auf einer großen Liste (~ 2 Millionen).

Gibt es eine Möglichkeit zum Massenupdate? Etwas so anmutig und schnell wie das Anrufen cur.executemany(INSERT INTO...)?

Muss ich die Zeilen einzeln mit einer for Schleife aktualisieren?

Wenn ja, wie würde ich dies tun, wenn ich keine WHERE Bedingung (nur Zeilennummern) habe?

Hinweis: Die Erstellung einer parallelen Spalte neben einer vorhandenen Spalte erfolgt mit Nullwerten. Diese werden dann überschrieben.

Answer 1

1. Wenn Sie UPDATE tbl SET column='value' verwenden - Sie erhalten die value in allen Zeilen in diesem column. Dies ist genau das, was diese Abfrage tut. Wenn Sie den Wert nur auf bestimmte Zeilen (oder auf bestimmte Spalte) festlegen mögen, sollten Sie die Abfrage entsprechend ändern (mit where column1='some value' oder durch die Spaltennamen zu ändern
2. Wenn Sie eine Tabelle mit ~ 2M Zeilen aktualisieren -. Abhängig von der Menge Zeit der Daten dauert es :) Wenn Sie take a look here (die sehr alt ist, und wahrscheinlich sind die Dinge jetzt viel schneller), können Sie das Update von 25K Zeilen in sQLite sehen sie 2,4 Sekunden dauerte (jetzt sie mit 80 Doppelzimmer). Große Updates brauchen Zeit.
3. Sie können Bulk-Update verwenden, aber ich bin mir nicht sicher, was genau Sie versuchen zu tun. Wenn Sie column2 einstellen möchten value2 wo column1 = value1 können Sie:

cur.executemany("UPDATE DOS_APPENDIX SET column2=? WHERE column1=?", [(column2_val, column1_val) for ...]) 

In der Regel - wenn Sie sagen: „Ich habe keinen WHERE Zustand haben (nur Zahlen Zeile) "- Das ist sehr problematisch. Sie können limit verwenden, wenn Sie genau wissen, welche Zeilen Sie, aber die Reihenfolge der Zeilen aktualisieren möchten, können ändern, so wirklich dagegen ich empfehlen. Es wird viel besser sein, ein id zu Ihren Zeilen hinzuzufügen und es mit Ihrer UPDATE Abfrage zu verwenden.

Answer 2

In einer relationalen Datenbank, werden Sie wahrscheinlich nicht wollen, zu tun, was Sie beschreiben, wie es normalization bricht.

Was ich vorschlagen, dass Sie eine Feature-Tabelle, wo Sie die Eigenschaften speichern für jede Zeile:

CREATE TABLE observations (id INTEGER); 
CREATE TABLE features (id INTEGER, name TEXT); 
CREATE TABLE values (row_id INTEGER, feature_id INTEGER, value FLOAT); 

Auf diese Weise können neue Funktionen durch Hinzufügen einer Zeile zur features Tabelle und alle entsprechenden Zeilen hinzufügen zu der values Tabelle.