mit Python scrapy basierten Crawler aber immer Fehler

Hallo Leute Ich habe einen Crawler in Python zum Abschaben geschrieben ......mit Python scrapy basierten Crawler aber immer Fehler

import scrapy 

from c2.items import C2Item 

try: 

    class C2(scrapy.Spider): 
      name = 'cn' 
      allowed_domains = ['priceraja.com'] 
      start_urls = ['https://www.priceraja.com'] 



      def parse_item(self, response): 

       Item = [] 
       Item['url']=response.xpath('//a/@href/text()').extract() 
       yield Item 

except Exception: 
logging.exception("message")

ich auf halten NotImplemented immer Fehler

2017-08-05 01:12:28 [scrapy.core.scraper] ERROR: Spider error processing 
<GET 
https://www.killerfeatures.com> (referer: None) 
Traceback (most recent call last): 
File "D:\Ana\lib\site-packages\twisted\internet\defer.py", line 653, in _ 
runCallbacks 
current.result = callback(current.result, *args, **kw) 
File "D:\Ana\lib\site-packages\scrapy\spiders\__init__.py", line 90, in 
parse raise NotImplementedError 
NotImplementedError 
2017-08-05 01:12:28 [scrapy.core.engine] INFO: Closing spider (finished) 
2017-08-05 01:12:28 [scrapy.statscollectors] INFO: Dumping Scrapy stats: 
{'downloader/request_bytes': 435, 
'downloader/request_count': 2, 
'downloader/request_method_count/GET': 2,

Downloader‘/response_bytes': 9282, 'Downloader/response_count': 2, 'Downloader/response_status_count/200': 1, 'Downloader/response_status_count/301': 1, 'finish_reason': 'fertig', 'finish_time': datetime.datetime (2017, 8, 4, 19, 42, 28, 837000), 'log_count/DEBUG': 3, 'log_count/FEHLER': 1, 'log_count/INFO': 7 , 'response_received_count': 1, 'Scheduler/aus der Warteschlange entfernt': 2, 'Scheduler/Aus der Warteschleife angenommene/memory': 2, 'Scheduler/die Warteschlange eingereiht': 2, 'Scheduler/reiht/memory': 2, ' spider_exceptions/NotImplementedError ': 1, ' start_time ': datetime.datetime (2017, 8, 4, 19, 42, 25, 976000)} 2017-08-05 01:12:28 [scrapy.core.engine] INFO : Spinne geschlossen (fertig)

Quelle

2017-07-05 msnegi

Datei zu verwenden, "D: \ Ana \ lib \ site-packages \ scrapy \ Spinnen \ __ init__.py", Zeile 90, in Parse raise NotImplementedError NotImplementedError 2017- 07-05 23:54:45 [scrapy.core.engine] INFO: Schließen Spinne (fertig) ist der Fehler, den ich bekomme – msnegi

Könnten Sie bitte [bearbeiten] Sie Ihren Beitrag, um die Fehlermeldung zu enthalten, anstatt es als Kommentar zu posten? Vielen Dank! –

Scrapy sucht nach der Parse-Funktion, während Sie impl haben Führen Sie die Funktion parse_item aus. Das Ändern von parse_item, das analysiert werden soll, funktioniert möglicherweise, oder Sie können die Analysefunktion außer Kraft setzen.

Eine weitere Lösung von here ist CrawlSpider

Quelle

2017-07-05 18:52:41

Geändert Code wie Vorschlag noch nicht funktioniert. Kann jemand ein Arbeitsbeispiel und auch eine Scrapy-Version hinzufügen? – msnegi

mit Python scrapy basierten Crawler aber immer Fehler

Antwort

Verwandte Themen