Wie kann ich Artikel von Websites herunterladen?

Question

Ich muss herunterladen (zum Beispiel 1000) zufällige Artikel aus Wikipedia, und später mit Html Agility Pack, entfernen von HTML-Dateien/Strings entfernen Sie alle HTML/Scripts-Tags. Wie kann ich es herunterladen? Hat diese Bibliothek ein Tool zum Download von Artikeln aus dem www? Vielen Dank für Hilfe

Answer 1

Verwendung kann WebClient verwenden. Zum Beispiel:

var site = new System.Net.WebClient().DownloadString("http://google.com"); 

Answer 2

Sie können ein Crawler-Tool schreiben 1000 Urls in wikipedia greifen und diese HtmlWeb in HtmlAgilityPack verwenden:

string Url = "http://something"; 
HtmlWeb web = new HtmlWeb(); 
HtmlDocument doc = web.Load(Url);