Scrapy Crawler instabil, manchmal funktioniert manchmal nicht

Question

Mein Crawler würde manchmal arbeiten -crawls und kratzt aber manchmal nur kriecht und würde nichts kratzen ohne mich etwas am Code ändern:/Ich verstehe nicht. Es gibt keinen Fehlercode oder irgendetwas. Es sieht so aus, wenn es nicht kratzen wird;

2017-02-05 23:52:00 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.amazon.com/s/srs=9187220011&rh=n%3A283155> (referer: None) 
2017-02-05 23:52:00 [scrapy.core.engine] INFO: Closing spider (finished) 
2017-02-05 23:52:00 [scrapy.statscollectors] INFO: Dumping Scrapy stats: 
{'downloader/request_bytes': 712, 
'downloader/request_count': 2, 
'downloader/request_method_count/GET': 2, 
'downloader/response_bytes': 3964, 
'downloader/response_count': 2, 
'downloader/response_status_count/200': 2, 
'finish_reason': 'finished', 
'finish_time': datetime.datetime(2017, 2, 6, 5, 52, 0, 552000), 
'log_count/DEBUG': 7, 
'log_count/INFO': 7, 
'log_count/WARNING': 1, 
'response_received_count': 2, 
'scheduler/dequeued': 1, 
'scheduler/dequeued/memory': 1, 
'scheduler/enqueued': 1, 
'scheduler/enqueued/memory': 1, 
'start_time': datetime.datetime(2017, 2, 6, 5, 51, 59, 328000)} 

Ich versuche, diese Website zu kratzen und es in mongodb mit mongodb Pipeline setzen. Wie es tatsächlich funktioniert, aber irgendwann wird es nicht funktionieren, es ist ziemlich komisch. Ich denke, dass dies Pipelineproblem sein könnte, aber nicht sicher .. Irgendwelche Vorschläge? Wie kann ich überprüfen, was falsch ist? Ich bin mit mongodb verbunden, so wie ich das tun mongod läuft

Das ist meine mongodbpipeline;

Answer 1

Sir Sie kratzen Amazon, eine sehr berühmte und Anti-Crawler-Website.

Es ist manchmal weil sie Ihnen Antwort senden, aber manchmal zeigen sie nur Captcha aufgrund der kontinuierlichen Anfragen und nicht der eigentlichen Webseite.

Sie müssen Proxys verwenden, um Amazon reibungslos zu scrappen, und sogar mit Proxies werden Sie viele Captchas sehen, aber Sie müssen die URLs erneut versuchen, für die Sie Captcha hatten.

Sie können dieses Stück Code verwenden, um zu sehen, ob ein Captcha in der Seite vorhanden ist.