Was ist der einfachste Weg, mehrere Webanfragen hintereinander zu tätigen?

Question

Ich habe eine Liste von URLs, und ich mache ein HTTP-Web-Anfrage-Objekt, und versuche, mich damit zu verbinden, ich habe ein 'Array' von URLs, und ich versuche, mit jedem zu verbinden. Das Ziel ist es zu sehen, welche aus sind.

Es funktioniert bereits, aber eine Anfrage startet nur, sobald die letzte endet, also ist es ziemlich langsam arbeiten, etwa zwei Anfragen pro Sekunde.

Ich fragte mich, ob ich etwa 5 Threads nebenher im Hintergrund arbeiten sollte, das würde es 5 mal schneller machen, was die gewünschte Geschwindigkeit ist (ohne das gemeinsame Internetband zu überlasten). Aber ich habe zwei Probleme:

1 - ich weiß nicht einmal, ob es die beste Lösung für mein Problem ist. 2 - Ich habe es einige Male versucht, aber ich bin neu in .NET Framework und habe noch nie Multi-Thread verwendet. also weiß ich nicht, wie ich es leicht machen würde.

Ich habe eine Funktion start(), und es hat eine For, die durch alle Überprüfung der Existenz der URL geht.

Daten: VS 08, .NET 3.5, C#.

- [Bearbeiten] -

Kann mir jemand sagen (mit Code-Beispiel, wenn möglich), wie fünf (nicht so viele wie möglich) Fäden in Background zu benutzen? Was ist mit dem Start gleich nach der letzten Bearbeitung?

Answer 1

Erforschen Sie das BackgroundWorker-Objekt. Auf diese Weise können Sie mehrere Thread-Worker erstellen, um asynchrone Webanforderungen zu instanziieren. Verwenden Sie dann die ReportProgress-Methode, um den Status jeder Anforderung erneut zu melden.

http://msdn.microsoft.com/en-us/library/system.componentmodel.backgroundworker.aspx http://www.dotneat.net/2009/02/10/BackgroundworkerExample.aspx http://dotnetperls.com/backgroundworker

Answer 2

Dies ist ein idealer Fall für die BackgroundWorker Klasse in .NET. Es verwendet den Thread-Pool, um potenziell lang andauernde Vorgänge im Hintergrund auszuführen, so dass der Aufrufer nicht mit dem einzelnen Code zur Thread-Erstellung umgehen muss.

Answer 3

Ich bevorzuge es, eine Worker-Klasse zu erstellen, die die HttpWebRequest ausführt und es für jede Verbindung in einem eigenen Thread startet. Lassen Sie Ihre Worker-Klasse eine Callback-Methode verwenden, um zu signalisieren, dass sie beendet ist. Ich benutze eine Warteschlange von ausstehenden Threads und ein Wörterbuch von aktiven Threads. Threads, die aufgrund neu startbarer Dinge wie Verbindungsfehler und Zeitüberschreitungen vorzeitig beendet werden, können wieder in die Warteschlange gestellt werden. Die ManagedThreadId des Threads ist praktisch, um Threads zu verfolgen.

Sie wahrscheinlich auch von Ihrer App maximale Anzahl der Verbindungen erhöhen möchten, diese zu Ihrem app.config:

<system.net> 
    <connectionManagement> 
     <remove address="*"/> 
     <add address="*" maxconnection="10" /> 
    </connectionManagement> 
    </system.net> 

I 10 als Beispiel gewählt - Sie werden die Auswirkungen auf die experimentieren, um zu sehen Durchsatz, CPU-Auslastung und Speicherauslastung.

Answer 4

Anstatt explizit neue Themen selbst starten, verwenden, um die HttpWebRequest.BeginGetResponse() Methode jede Anforderung asynchron auszuführen, und ein Callback-Verfahren festgelegt wird:

http://www.developerfusion.com/code/4654/asynchronous-httpwebrequest/

bleiben Antwort zu nennen.Schließen Sie() in der Rückrufmethode, damit die maximale Anzahl gleichzeitiger Verbindungen nicht überschritten wird. Dies ist vorzuziehen, die maxconnection Wert der app.config zu erhöhen, die gegen RFC-Richtlinien (max Verbindungen = 2) ist.

Als grobe Richtlinie kann ich mit dieser Methode ungefähr 8 Anfragen pro Sekunde über einen Zeitraum von 5 Sekunden ausführen.