Wie lade ich eine große Datei (über HTTP) in .NET herunter?

Question

Ich muss eine große Datei (2   GB) über HTTP in einer C# -Konsolenanwendung herunterladen. Problem ist, nach etwa 1.2   GB, läuft die Anwendung aus dem Speicher.

Hier ist der Code, den ich mit:

WebClient request = new WebClient(); 
request.Credentials = new NetworkCredential(username, password); 
byte[] fileData = request.DownloadData(baseURL + fName); 

Wie Sie sehen können ... Ich bin die Datei direkt in den Speicher zu lesen. Ich bin mir ziemlich sicher, dass ich das lösen könnte, wenn ich die Daten in Blöcken aus HTTP lesen und in eine Datei auf der Festplatte schreiben würde.

Wie könnte ich das tun?

Answer 1

Wenn Sie WebClient.DownloadFile verwenden, können Sie es direkt in eine Datei speichern.

Answer 2

Sie müssen den Antwortstream abrufen und dann blockweise lesen, indem Sie jeden Block in eine Datei schreiben, damit der Speicher wiederverwendet werden kann.

Wie Sie es geschrieben haben, muss die gesamte Antwort, alle 2 GB, im Speicher sein. Selbst bei einem 64-Bit-System, das die 2-GB-Grenze für ein einzelnes .NET-Objekt erreicht.

---

Update: einfachere Option. Holen Sie sich WebClient, um die Arbeit für Sie zu erledigen: mit seiner DownloadFile Methode, die die Daten direkt in eine Datei legt.

Answer 3

Die WebClient-Klasse ist die für vereinfachte Szenarien. Sobald Sie an einfachen Szenarien vorbeikommen (und Sie haben), müssen Sie ein wenig zurückfallen und WebRequest verwenden.

Mit WebRequest haben Sie Zugriff auf den Antwort-Stream, und Sie können in der Lage sein, darüber zu laufen, ein wenig zu lesen und ein wenig zu schreiben, bis Sie fertig sind.

---

Beispiel:

public void MyDownloadFile(Uri url, string outputFilePath) 
{ 
    const int BUFFER_SIZE = 16 * 1024; 
    using (var outputFileStream = File.Create(outputFilePath, BUFFER_SIZE)) 
    { 
     var req = WebRequest.Create(url); 
     using (var response = req.GetResponse()) 
     { 
      using (var responseStream = response.GetResponseStream()) 
      { 
       var buffer = new byte[BUFFER_SIZE]; 
       int bytesRead; 
       do 
       { 
        bytesRead = responseStream.Read(buffer, 0, BUFFER_SIZE); 
        outputFileStream.Write(buffer, 0, bytesRead); 
       } while (bytesRead > 0); 
      } 
     } 
    } 
} 

Beachten Sie, dass, wenn WebClient.DownloadFile funktioniert, dann würde ich es die beste Lösung nennen. Ich schrieb das obige, bevor die "DownloadFile" -Antwort veröffentlicht wurde. Ich schrieb es auch viel zu früh am Morgen, so dass ein Körnchen Salz (und Tests) erforderlich sein könnte.

Answer 4

würde ich so etwas wie this

Answer 5

verwenden WebClient.OpenRead einen Stream zurück, verwenden Sie nur lesen, um eine Schleife über den Inhalt, so werden die Daten nicht im Speicher gepuffert, sondern kann in den Blöcken in eine Datei geschrieben werden.