Kratzen Angebot gibt keine Ergebnisse zurück

Question

Ich habe dieses Problem in der Datenbank recherchiert, googelte die Fragen und zwei verschiedene Fehler gefunden. Ich habe festgestellt, dass die 503-Fehler sind Amazon blockiert mich, aber ich bekomme einen anderen Fehler, der in die gleiche Richtung ist, aber nicht die 503 Rückkehr darin. Ich kann den Unterschied nicht entziffern. Wer kann helfen? Die Fehler, die ich bekomme, sind unten aufgeführt. Der HTML-Parser Ich verwende sind HTML Agility Pack-und Just Agile

http://www.amazon.com/gp/offer-listing/1902915208 error The remote server returned an error: (503) Server Unavailable.

und

Scrape Offers returned no results.

Der Fehler nicht konsistent ist und so nicht leicht zu stoppen. Der Fehler kehrt mit dem nächsten Ausschuss zurück. Es ist sehr zufällig und passiert nicht immer mit dem gleichen Produkt. Ich bekomme viele davon täglich und es hindert mich daran, die Preise zu aktualisieren und den Kunden korrekte Informationen zu liefern.

Answer 1

So, wie ich herausgefunden habe, war das Problem der User-Agent, der an Amazon gesendet wurde. Ich habe meinen CURL-Optionen den folgenden Befehl hinzugefügt und es funktioniert jetzt - auch ohne einen US-Proxy.

curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13'); 

Answer 2

Ich legte 1 Sekunde Schlaf zwischen jeder 20 Webseite Anfragen. Und das hat mein Problem gelöst.