C# Proxy-Tester unglaublich langsam sogar auf seinem eigenen Thread

Question

Ich schrieb einen einfachen Proxy-Tester auf der Grundlage einiger Code, den ich hier gefunden.

die Grundidee war, lädt es eine Datei, die eine Liste von Proxys in Form von ipaddress enthält: Port, teilt das in ein Array und Tests für die Konnektivität.

Ich führe diese Iteration in einem zweiten Thread, weil es unerträglich langsam war. Es ist jetzt etwas schneller, aber ich hoffe auf einige Vorschläge.

while ((line = reader.ReadLine()) != null) 
{ 
    if (this.lblCurrentProxy.InvokeRequired) 
    { 
     this.lblCurrentProxy.BeginInvoke((MethodInvoker)delegate() { this.lblCurrentProxy.Text = "Current proxy: " + line; ;}); 

    } 
    else 
    { 
     this.lblCurrentProxy.Text = "Current proxy: " + line; 
    } 
    //lblCurrentProxy.Text = "Current proxy: " + line; 
    String[] addressParts = line.Split(':'); 
    try 
    { 
     WebClient wc = new WebClient(); 
     wc.Proxy = new WebProxy(addressParts[0], Int32.Parse(addressParts[1])); 
     wc.DownloadString("http://google.com/ncr"); 
     sw.WriteLine(line); 
     //MessageBox.Show("working proxy"); 
    } 
    catch 
    { 
     // do nothing, proxy was dead. 
     continue; 
    } 

} 

Answer 1

Probieren Sie etwas wie folgt aus::

Der Großteil der Arbeit wird hier getan

var fileName = ""; 
var workingProxies = new List<string>(); 
Parallel.ForEach(
    File.ReadLines(fileName), 
    () => new List<string>(), 
    (line, state, bucket) => 
    { 
     String[] addressParts = line.Split(':'); 
     try 
     { 
      WebClient wc = new WebClient(); 
      wc.Proxy = new WebProxy(addressParts[0], Int32.Parse(addressParts[1])); 
      wc.DownloadString("http://google.com/ncr"); 

      bucket.Add(line); 
     } 
     catch { } 
     return bucket; 
    }, 
    subBucket => 
    { 
     lock(workingProxies) 
      workingProxies.AddRange(subBucket); 
    } 
); 

//Now read from workingProxies 

Dies wird den Rahmen für Sie das Einfädeln zu behandeln. Beachten Sie außerdem, dass die gesamte Benutzeroberflächeninteraktion entfernt wurde. Es macht keinen Sinn, einen 'aktuellen' Proxy zu testen, wenn Sie mehrere Proxies gleichzeitig getestet haben. Vielmehr wird dies alle Proxies überprüfen, und dann einfach sagen, welche Proxies funktioniert.

Natürlich, wenn Sie wirklich wollten, könnten Sie Code nach bucket.Add(line) hinzufügen, um es in der Benutzeroberfläche anzuzeigen, aber das überlasse ich Ihnen.

Bearbeiten
Hier ist eine Version ohne Thread-lokale Variablen. Das bedeutet, dass wir jedes Mal sperren müssen, wenn wir die Liste anhängen, anstatt nur zu sperren, wenn die Threads abgeschlossen sind.

var fileName = ""; 
var workingProxies = new List<string>(); 
Parallel.ForEach(
    File.ReadLines(fileName), 
    line => 
    { 
     String[] addressParts = line.Split(':'); 
     try 
     { 
      WebClient wc = new WebClient(); 
      wc.Proxy = new WebProxy(addressParts[0], Int32.Parse(addressParts[1])); 
      wc.DownloadString("http://google.com/ncr"); 

      lock (workingProxies) 
       workingProxies.Add(line); 
     } 
     catch { } 
    } 
);