import strings in scrapy als crawl urls zu verwenden

Question

Also meine Frage ist, wie ich Scrapy Crawl URLs, die nur durch eine Zeichenfolge auseinander setzen sagen. So zum Beispiel: https://www.youtube.com/watch?v=STRING Ich habe die Saiten in einer TXT-Datei gespeichert.

with open("plz_nummer.txt") as f: 
    cityZIP = f.read().rsplit('\n') 

for a in xrange(0,len(cityZIP)): 

    next_url = 'http://www.firmenfinden.de/?txtPLZ=' + cityZIP[a] + '&txtBranche=&txtKunden=' 
     pass 

Answer 1

würde ich den Laden der Datei mit Postleitzahlen Teil des start_requests Verfahrens als Generator machen. Etwas in den Zeilen:

import scrapy 

class ZipSpider(scrapy.Spider): 
    name = "zipCodes" 
    self.city_zip_list = [] 

    def start_requests(self): 
     with open("plz_nummer.txt") as f: 
      self.city_zip_list = f.read().rsplit('\n') 
     for city_zip in self.city_zip_list: 
      url = 'http://www.firmenfinden.de/?txtPLZ={}&txtBranche=&txtKunden='.format(city_zip) 
      yield scrapy.Request(url=url, callback=self.parse) 

    def parse(self, response): 
     # Anything else you need 
     # to do in here 
     pass 

Dies sollte Ihnen einen guten Ausgangspunkt geben. Lesen Sie auch diesen Artikel: https://doc.scrapy.org/en/1.1/intro/tutorial.html