HTTP-Protokoll Verletzung, wenn die Homepage HtmlAgilityPack mit dem Download

Question

Ich versuche, Download-Seiten von www.mediafire.com zu analysieren, aber mir wirklich oft ein System.Net.WebException mit der folgenden Meldung erhalten, wenn ich versuche, eine Seite zu einem HtmlDocument zu laden:

Der Server hat ein Protokoll Verletzung begangen. Section = ResponseStatusLine

Dies ist mein Code:

HtmlAgilityPack.HtmlWeb web = new HtmlAgilityPack.HtmlWeb(); 

HtmlAgilityPack.HtmlDocument doc = null; 

string url = www.mediafire.com/?abcdefghijkl //There are many different links 

try 
{ 
    doc = web.Load(url); //From 30 links, usually only 10 load properly 
} 

catch (WebException) 
{ 

} 

Irgendwelche Ideen, warum nur 10 von 30 Links Arbeit (die Links jedes Mal ändern, weil mein Programm eine "Suchmaschine" ist) und wie kann ich das Problem lösen?

Wenn ich diese Seiten in meinem Browser lade, funktioniert alles gut.

---

Ich habe versucht, die folgenden Zeilen zu meinem app.config hinzufügen, aber das hilft auch nicht

<system.net> 
    <settings> 
     <httpWebRequest useUnsafeHeaderParsing="true" /> 
    </settings> 
</system.net> 

Answer 1

Dies ist nicht auf die Html Agility Pack einfach direkt, bezogen, sondern auf die zugrunde liegende HTTP/Socket-Schicht. Dieser Fehler bedeutet, dass der Server keine korrekte HTTP-Statuszeile zurücksendet.

Die Statuszeile in HTTP RFC hier definiert ist: http://www.w3.org/Protocols/rfc2616/rfc2616-sec6.html

Ich zitiere:

Die erste Zeile einer Antwortnachricht ist die Status-Zeile, von der Version Protokoll bestehend gefolgt durch einen numerischen Statuscode und die zugehörige textuelle Phrase, wobei jedes Element durch SP Zeichen getrennt ist. Kein CR oder LF ist zulässig außer in der endgültigen CRLF-Sequenz.

Status-Line = HTTP-Version SP Status-Code SP Reason-Phrase CRLF 

Sie können Socket-Spuren mit voller Hex-Bericht hinzufügen, dies zu überprüfen:

<configuration> 
    <system.diagnostics> 
     <sources> 
      <source name="System.Net.Sockets" tracemode="includehex"> 
       <listeners> 
        <add name="System.Net.Sockets" type="System.Diagnostics.TextWriterTraceListener" initializeData="SocketTrace.log" /> 
       </listeners> 
      </source> 
     </sources> 
     <switches> 
      <add name="System.Net.Sockets" value="Verbose"/> 
     </switches> 
     <trace autoflush="true" /> 
    </system.diagnostics> 
</configuration> 

Dies wird eine SocketTrace.log Datei im aktuellen Ausführung Verzeichnis erstellen. Schau mal rein, die Protokollverletzung sollte sichtbar sein. Sie können es hier posten, wenn es nicht zu groß ist :-)

Leider, wenn Sie nicht den Server besitzen, gibt es nicht viel, was Sie tun können (wenn Sie bereits die useUnsafeHeaderParsing Einstellung hinzugefügt, die gut ist) aber scheitern anmutig in diesen Fällen.

Answer 2

Wenn Sie die Eigenschaft keep alive auf false setzen, wird dieses Problem behoben. Aber ich bin mir nicht sicher, ob htmlagilitypack diese Eigenschaft hat. Daher wäre die Verwendung von WebClient eine bessere Alternative.

Das funktionierte für mich. Anstatt die URL direkt mit web.Load zu laden, laden Sie die HTML der gewünschten URL mit Ihrem benutzerdefinierten WebClient herunter. Überschreiben Sie in Ihrem benutzerdefinierten WebClient die Methode GetWebRequest, um HttpWebRequest.KeepAlive = false zu setzen. Laden Sie nun die heruntergeladene Datei in web.Load().

MyWebClient client = new MyWebClient(); 
client.DownloadFile(searchURL, @"C:\\index.html"); 
var doc = web.Load("C:\\index.html"); 

GetWebRequest Aufschalten

using System; 
using System.Net; 

namespace MyProject 
{ 
    internal class CustomWebClient : WebClient 
    { 
     protected override WebRequest GetWebRequest(Uri address) 
     { 
      WebRequest request = base.GetWebRequest(address); 
      if (request is HttpWebRequest) 
      { 
       (request as HttpWebRequest).KeepAlive = false; 
      } 
      return request; 
     } 
    } 
}