download von websites html in html dokument

Question

Ich möchte den html einer webseite bekommen. Dann mit diesem HTML gibt es zwei Elemente, die xpath ich habe, die ich lesen möchte. Ich habe wenig Wissen zu diesem Thema.

Bei der Suche sehe ich immer Beispiele, aber sie laden die URL und legen Sie den HTML-Code in eine Zeichenfolge. Aber ich glaube, da ich die beiden XPaths habe, wäre es besser, das HTML der Webseite als HTML-Dokument anstatt als String herunterzuladen oder liege ich falsch?

using (WebClient client = new WebClient()) { 
    string s = client.DownloadString(url); 
} 

Wie kann ich den HTML-Code einer Webseite in ein HTML-Dokument herunterladen, das ich durchsuchen kann?

Answer 1

Sie können Stream verwenden heruntergeladenen Daten in eine Datei zu schreiben:

string s = string.Empty; 
using(WebClient client = new WebClient()) 
{ 
    string s = client.DownloadString(url); 
} 

using (FileStream fs = new FileStream("test.html", FileMode.Create)) 
{ 
    using (StreamWriter w = new StreamWriter(fs, Encoding.UTF8)) 
    { 
    w.WriteLine(s); 
    } 
    } 

Answer 2

Dies ist, wie ich dies tun.

1. Zuerst definieren Sie Ihre URL in einer String-Variablen.
2. Dann downloaden Sie die Zeichenfolge mit HttpWebRequest Klasse.
3. Ich benutze HtmlAgilityPack, also sollten Sie es in Ihr Projekt aufnehmen (z. B. mit Nugger).
4. Erstellen Sie das Objekt HtmlDocument, und laden Sie Daten in dieses Objekt.

5. Jetzt können Sie über Ihre HtmlDocument navigieren.

   string urlAddress = "url.com"; 
   
   HttpWebRequest request = (HttpWebRequest)WebRequest.Create(urlAddress); 
   HttpWebResponse response = (HttpWebResponse)request.GetResponse(); 
   string data = ""; 
   if (response.StatusCode == HttpStatusCode.OK) 
   { 
   Stream receiveStream = response.GetResponseStream(); 
   StreamReader readStream = null; 
   
   if (response.CharacterSet == null) 
   { 
       readStream = new StreamReader(receiveStream); 
   } 
   else 
   { 
       readStream = new StreamReader(receiveStream, Encoding.GetEncoding(response.CharacterSet)); 
   } 
   
   data = readStream.ReadToEnd(); 
   
   
   response.Close(); 
   readStream.Close(); 
   } 
   
   HtmlDocument document2 = new HtmlAgilityPack.HtmlDocument(); 
   document2.LoadHtml(data);