Korrekte Methode zum Löschen von mehr als 2100 Zeilen (nach ID) mit Dapper

Question

Ich versuche zu verwenden Dapper Unterstützung meines Datenzugriffs für meine Server-App.

Meine Server-App verfügt über eine andere Anwendung, die Datensätze mit einer Rate von 400 pro Minute in meine Datenbank löscht.

Meine App zieht sie in Stapeln, verarbeitet sie und löscht sie dann aus der Datenbank.

Da Daten während der Verarbeitung weiterhin in die Datenbank fließen, habe ich keine gute Möglichkeit, delete from myTable where allProcessed = true zu sagen.

Allerdings kenne ich den PK-Wert der Zeilen zu löschen. Also ich möchte ein delete from myTable where Id in @listToDelete

Problem ist, dass, wenn mein Server für noch 6 Minuten ausfällt, dann habe ich über 2100 Zeilen zu löschen.

Da Dapper meine @listToDelete übernimmt und jede in einen Parameter verwandelt, schlägt mein Aufruf zum Löschen fehl. (Verursacht, dass meine Daten bereinigt werden, um noch weiter zurück zu kommen.)

Was ist der beste Weg, damit in Dapper umzugehen?

NOTES: Ich habe Tabled bewertete Parameter angeschaut, aber von dem, was ich sehen kann, sind sie nicht sehr performant. Dieses Stück meiner Architektur ist der Flaschenhals meines Systems und ich muss sehr schnell sein sehr.

Answer 1

Eine Option besteht darin, eine temporäre Tabelle auf dem Server zu erstellen und dann die Massenladefunktion zu verwenden, um alle IDs gleichzeitig in diese Tabelle hochzuladen. Verwenden Sie dann eine Join-, EXISTS- oder IN-Klausel, um nur die Datensätze zu löschen, die Sie in Ihre temporäre Tabelle hochgeladen haben.

Massenlasten sind ein optimierter Pfad in SQL Server und sollten sehr schnell sein.

Zum Beispiel:

1. Führen Sie die Anweisung CREATE TABLE #RowsToDelete(ID INT PRIMARY KEY)
2. Verwendung eines Massenladeschlüssel in #RowsToDelete
3. Execute DELETE FROM myTable where Id IN (SELECT ID FROM #RowsToDelete)
4. ausführen DROP TABLE #RowsToDelte (die Tabelle auch fallen gelassen werden einfügen wird automatisch, wenn Sie in der Nähe die Sitzung)

(Unter der Annahme, Dapper) Code-Beispiel:

conn.Open(); 

var columnName = "ID"; 

conn.Execute(string.Format("CREATE TABLE #{0}s({0} INT PRIMARY KEY)", columnName)); 

using (var bulkCopy = new SqlBulkCopy(conn)) 
{ 
    bulkCopy.BatchSize = ids.Count; 
    bulkCopy.DestinationTableName = string.Format("#{0}s", columnName); 

    var table = new DataTable();      
    table.Columns.Add(columnName, typeof (int)); 
    bulkCopy.ColumnMappings.Add(columnName, columnName); 

    foreach (var id in ids) 
    { 
     table.Rows.Add(id); 
    } 

    bulkCopy.WriteToServer(table); 
} 

//or do other things with your table instead of deleting here 
conn.Execute(string.Format(@"DELETE FROM myTable where Id IN 
            (SELECT {0} FROM #{0}s", columnName)); 

conn.Execute(string.Format("DROP TABLE #{0}s", columnName)); 

Answer 2

Um diesen Code arbeiten zu lassen, ging ich auf die dunkle Seite.

Seit Dapper macht meine Liste in Parameter. Und SQL Server kann viele Parameter nicht verarbeiten. (Ich habe noch nie zuvor zweistellige Parameter benötigt). Ich musste mit Dynamic SQL gehen.

hier also meine Lösung war:

string listOfIdsJoined = "("+String.Join(",", listOfIds.ToArray())+")"; 
connection.Execute("delete from myTable where Id in " + listOfIdsJoined); 

Vor jeder die ihre Fackeln und Heugabeln packt, lassen Sie mich erklären.

Dieser Code wird auf einem Server ausgeführt, dessen einzige Eingabe ein Datenfeed von einem Mainframe-System ist.

Die Liste, die ich dynamisch erstelle, ist eine Liste von Longs/Bigints.

Die Longs/Bigints stammen aus einer Identity-Spalte.

Ich weiß, das Erstellen von dynamischen SQL ist schlecht Juju, aber in diesem Fall kann ich nicht sehen, wie es zu einem Sicherheitsrisiko führt.

Answer 3

Dapper Anforderung der Liste des Objekt mit Parametern als Eigenschaft so in obigem Fall eine Liste von Objekt-ID als Eigenschaft aufweisen arbeiten.

connection.Execute("delete from myTable where Id in (@Id)", listOfIds.AsEnumerable().Select(i=> new { Id = i }).ToList()); 

Dies wird funktionieren.