Sehr große Zeichenfolge im Speicher

Question

Ich schreibe ein Programm für die Formatierung von 100 MB-String-Daten (in der Nähe eines Gig) in xml == Und ich bin es erforderlich, um es als Antwort auf eine HTTP (GET) Anfrage zurückzugeben.

Ich bin mit einem Stringwriter/XmlWriter eine XML der Datensätze in einer Schleife zu bauen und die

using (StringWriter writer = new StringWriter()) 
using (writer = XmlWriter.Create(writer, settings)) //where settings are the xml props 

writer.ToString() 

während des Testens der Rückkehr sah ich ein paar --out Speicher exceptions-- und ganz ahnungslos, wie eine Lösung finden? Habt ihr Vorschläge für eine speicheroptimierte Antwort?

Gibt es eine speichereffiziente Möglichkeit, die Daten zu codieren? oder vielleicht die Daten Chunking - Ich kann einfach nicht daran denken, wie es zurückzukehren, ohne das Ganze zu einer riesigen String-Objekt zu bauen

dank

- einige Präzisierungen - dies ist ein asp .net Webservices App über eine Gigabit-Ethernet-Verbindung als Josh notiert. Ich bin damit nicht sehr vertraut, also noch ein bisschen eine Lernkurve.

ich XMLWriter bin mit dem XML zu erstellen und eine Zeichenfolge aus ihm heraus erstellen String mit

einige Statistiken - Antwort xml size = etwa 385 MB (meine Daten Größe sehr schnell wachsen wird auf weit mehr als diese)

String Objektgröße, wie durch einen Speicher-Profiler berechnet = kulminierte an 605MB

und vielen dank an alle, die geantwortet haben ...

Answer 1

Können Sie nicht einfach die Antwort auf den Client streamen? XmlWriter erfordert nicht, dass der zugrunde liegende Stream im Arbeitsspeicher gepuffert wird. Wenn es ASP.NET ist, können Sie den Response.OutputStream verwenden, oder wenn es WCF ist, können Sie response streaming verwenden.

Answer 2

Sie werden jeden Datensatz zurückkehren (oder eine kleine Gruppe von rec ords) auf ihren eigenen individuellen GETs.

Answer 3

Verwenden Sie XmlTextWriter gewickelt um Reponse.OutputStream, um die XML an den Client zu senden und die Antwort regelmäßig zu leeren. Auf diese Weise müssen Sie nie mehr als ein paar MB im Speicher haben (zumindest für das Senden an den Client).

Answer 4

HTTP erhalten für 1 Gig? das ist eine Menge! Vielleicht solltest du es noch einmal überdenken. Zumindest gziping der Ausgang könnte helfen.

Answer 5

Sie sollten XML nicht mithilfe von Zeichenfolgenmanipulation erstellen.

Stattdessen sollten Sie die XmlTextWriter, XmlDocument oder (in .NET 3.5) XElement Klassen verwenden, um eine XML-Struktur im Speicher zu bauen, dann schreiben Sie direkt an Response.OutputStream ein XmlTextWriter verwenden.

Schreiben Sie direkt in eine XmlTextWriter, die Response.OutputStream wra effizient sein wird (Sie werden nie einen ganzen Elementbaum im Speicher auf einmal haben), wird aber etwas komplizierter.

Auf diese Weise haben Sie nie eine einzelne Zeichenfolge (oder ein Array), die das gesamte Objekt enthält, und sollten daher OutOfMemoryExceptions vermeiden.

Answer 6

Hatte ein ähnliches Problem, hoffe, dass dies jemandem helfen wird. Meine anfängliche Code war:

var serializer = new XmlSerializer(type); 
string xmlString; 

using (var writer = new StringWriter()) 
{ 
    serializer.Serialize(writer, objectData, sn); // OutOfMemoryException here 
    xmlString = writer.ToString(); 
} 

Ich landete replaceing String mit Memorystream und dies mein Problem gelöst

using (var mem = new MemoryStream()) 
{ 
    serializer.Serialize(mem, objectData, sn); 
    xmlString = Encoding.UTF8.GetString(mem.ToArray()); 
}