2016-03-30 14 views
0

... Ich habe einen scrapy Code, der in der Shell läuft, aber wenn ich versuche, ihn nach csv zu exportieren, gibt er eine leere Datei zurück. Es exportiert Daten, wenn ich gehe nicht in einen Link und versuchen, die Beschreibungscrapy code funktioniert nicht richtig

import scrapy 

class DmozSpider(scrapy.Spider): 
    name = "dmoz" 
    allowed_domains = ["dmozs.org"] 
    start_urls = [ 
     "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", 
     "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" 
    ] 

    def parse(self, response): 
     filename = response.url.split("/")[-2] + '.html' 
     with open(filename, 'wb') as f: 
      f.write(response.body) 
haben

Antwort

4
import scrapy 

class DmozSpider(scrapy.Spider): 
    name = "dmoz" 
    allowed_domains = ["dmoz.org"] 
    start_urls = [ 
     "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", 
     "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" 
    ] 

    def parse(self, response): 
     filename = response.url.split("/")[-2] + '.html' 
     with open(filename, 'wb') as f: 
      f.write(response.body) 

nur Sie vermissen Typ allowed_domains = [ "dmozs.org"] allowed_domains = [ "dmoz.org zu analysieren "]

1

Bitte ändern Sie den Code allowed_domains = ["dmoz.org"]