1. Zuhause
  2. Frage und Antwort
  3. Timeout-Problem mit ASP.NET Web Scraping

Timeout-Problem mit ASP.NET Web Scraping

2011-01-09 11 views
0

Ich versuche, einen Web Scraping Crawler als Teil meines ASP.NET MVC-Projekts zu implementieren. Es funktioniert mit großen Daten, die von verschiedenen URLs mit dem Html Agility Pack gesammelt wurden. Das Problem ist, wenn ich die Funktion tatsächlich ausführen möchte, bekomme ich nach einer Minute "Die Verbindung wurde zurückgesetzt" vom Remote-Server. Ich bekomme ein besseres Ergebnis, wenn ich es lokal ausführe. Ich habe Zugriff auf Remote-IIS. Irgendwelche Vorschläge, um dieses Problem und/oder Alternativen zu lösen?Timeout-Problem mit ASP.NET Web Scraping

Quelle

2011-01-09 Ehsan Tavakoli

+0

Versuchen Sie, _alle_ URLs in einer Anfrage auf Ihre Seite zurückzurufen? – Oded

+0

Ja, denke ich. Es gibt eine Schleife, die die URLs erzeugt und versucht, sie zu erfassen. aber mit diesem Zeitlimit kann es nur wenige URLs bekommen. –

Antwort

1

Wenn Sie einen langen laufenden Prozess in ASP.NET haben, ist es am besten, es in einem anderen Thread ausführen zu lassen.

Siehe this und this - Verwandte Fragen und this MSDN Artikel.

Quelle

2011-01-09 09:22:40 Oded

0

Verbindungs- und Netzwerkprobleme können zu solchen Problemen führen. Um das Blockieren anderer URLs zu verhindern, könnten Sie die Arbeit in separate Threads parallelisieren.

Quelle

2011-01-09 09:22:58

Verwandte Themen

 Verwandte Themen