Es ist möglich, eine große SQL Server-Datenbank Ergebnismenge mit Dapper?

Question

Ich habe etwa 500K Zeilen, die ich aus meiner Datenbank zurückgeben muss (bitte fragen Sie nicht warum: /).

Ich werde dann müssen diese Ergebnisse als XML (mehr URGH :() und der ftp Diese Datei irgendwo magisch speichern.

Ich brauche auch die jede Zeile in der Ergebnismenge zu transformieren.

Im Moment ist es das, was ich tue, mit sagen .. TOP 100 Ergebnisse:

• mit Query<T> Methode des Dapper, die das gesamte Ergebnis wirft gesetzt in den Speicher
• ich dann verwenden AutoMapp er die Datenbank POCO meinem Fileresult POCO
• Umrechnen in XML konvertieren
• Dann diese Sammlung in die Systemdatei speichern
• Dann FTP

Dies funktioniert gut für 100 Zeilen, aber ich erhalte eine Out Von Memory-Ausnahme mit AutoMapper beim Versuch, die 500K-Ergebnisse in eine neue Sammlung zu konvertieren.

Also, ich frage mich, wenn ich dies tun könnte ...

• Stream-Daten von DB mit Dapper
• Für jede Zeile, AutoMapper es
• Convert
• Stream XML Ergebnis auf Platte
• < Wiederholung für jede Zeile >
• ftp nun diese Datei Magie-Land

Ich versuche alles in den RAM zu stoppen werfen. Mein Gedanke ist, dass wenn ich Streams streamen kann, es speichereffizienter ist, da ich nur an einem einzelnen Ergebnissatz von Daten arbeite.

Kann jemand helfen?

Answer 1

Dapper des mit Query<T> Verfahren, das die gesamte Ergebnismenge in dem Speicher wirft

Es ist eine gute Arbeit, dann, dass eine der optionalen Parameter ein bool ist, dass Sie, ob wählen kann, puffern oder p

Fügen Sie einfach , buffer: false zu Ihrem bestehenden Anruf zu Query<T> hinzu.