Der beste Weg, um 10.000 Einfügungen in einer SQL-Datenbank zu tun?

Question

Was passiert, wenn ich Medien auf meine Website hochlade; Jeder erhält eine Benachrichtigung. Jede Person kann auf eine Box klicken, um sie zu entfernen, und sie wird für immer aus ihrer Nachrichtenwarteschlange entfernt.

Wenn ich 10.000 Menschen auf meiner Website hatte, wie würde ich es zu jeder Person msg Warteschlange hinzufügen? Ich kann mir vorstellen, dass es viel Zeit in Anspruch nimmt, also würde ich mich für etwas wie ein Dateisystemjournal entscheiden? markieren Sie, dass ich Leute, die Daten dann meine aktuelle Position benachrichtigen muss. Dann aktualisieren Sie meine Position alle 100 Einsätze oder so? Ich würde einen PK auf meiner Beobachterliste brauchen. Wenn sich jemand in der Mitte einträgt, wird meine Bestellung nicht unterbrochen, da ich über PK sortiere.

Ist dies die beste Lösung für ein Massenbenachrichtigungssystem?

-edit-

Diese Seite ist ein Benutzer Content-Website erstellt. Administratoren können globale Nachrichten senden und beliebte Personen können Tausende von Abonnenten haben.

Answer 1

Wenn 10000 fügt in eine enge viele zu viele Tabelle verbindet die Empfänger zu den Nachrichten (recipientid, messageid, status) ist langsam, ich nehme an, Sie haben größere Probleme mit Ihrem Design.

Dies ist die Art von Operation würde ich normalerweise nicht einmal über Dosierung oder Menschen in der Mitte der Post Operation abonnieren Sorge - im Grunde:

Unter der Annahme, @publisherid bekannt, @msg auf SQL Server bekannt:

BEGIN TRANSACTION 

INSERT INTO msgs (publisherid, msg) 
VALUES(@publisherid, @msg) 
SET @messageid = SCOPE_IDENTITY() 

INSERT INTO msqqueue (recipientid, messageid, status) 
SELECT subscriberid, @messageid, 0 -- unread 
FROM subscribers 
WHERE subscribers.publisherid = @publisherid 

COMMIT TRANSACTION 

Answer 2

Vielleicht einfach für jeden Benutzer notieren, welche Benachrichtigungen sie gesehen haben - also ist der Satz von Benachrichtigungen, die einem Benutzer angezeigt werden, diejenigen, die vor ihrem "frühest_notifiziert" Horizont erstellt wurden (wenn sie registriert wurden, oder vor einer Woche ...) minus diejenigen, die sie anerkannt haben. Auf diese Weise verzögern Sie das Einfügen von Objekten, bis ein einzelner Benutzer gleichzeitig vorhanden ist. Wenn Sie Benutzern nur Nachrichten anzeigen, die weniger als eine Woche alt sind, können Sie die Benachrichtigungsflags löschen, die mindestens eine Woche alt sind.

(Peformance Optimierungshinweis von meinem DBA in meinem alten Job: „Geschäftsprozesse sind die einfachsten Dinge zu ändern, sie zu betrachten zuerst“)

Answer 3

IMHO Einfügen von Datensätzen kann nicht die effizienteste Lösung für dieses Problem sein. Können Sie ein clientseitiges Cookie verwenden, um zu speichern, ob der Benutzer die Benachrichtigung entfernt hat, oder müssen Sie dies auch dann im Auge behalten, wenn Cookies gelöscht werden? Wenn Sie ein neues Video hochladen, kann die App einfach das Cookie mit der neuen Videoaufzeichnungs-ID vergleichen und entscheiden, ob die Benachrichtigung basierend auf was im Cookie gespeichert ist, ein- oder ausgeblendet wird. Dies wird Ihnen eine Menge Datenbankeinfügungen ersparen und hält die meiste Last auf dem Client.

Answer 4

Wenn Sie Postgres verwenden, können Sie den Befehl COPY verwenden, die die schnellste Methode von ihnen ist alles:

COPY tablename (col1, col2, col3) FROM '/path/to/tabfile'; 

wo tabfile ist eine TAB-separierte Datei mit vielen Einträgen. Dies wird jedoch fehlschlagen, wenn einige UNIQUE-Einschränkungen vorliegen und in der Datei Duplikate vorhanden sind.

Answer 5

Ich würde sagen, lassen Sie einfach die Datenbank kümmern sich um Dinge, die es gut und in der Lage zu tun ist. Einfügen und Verwalten von Daten Versuchen Sie nicht, es in Code zu tun, schreiben Sie einfach die SQL, um die Daten in einem Schritt einzufügen. 10000 Zeilen ist ein Diddle für alle echten Datenbanken.