Definieren zusätzlicher Methoden in einer Scrapy-Klasse

Question

Wie wird eine Scrapy-Klasse ausgeführt und wie fügt man einer Spider-Klasse zusätzliche Methoden hinzu?

Zum Beispiel aus der Dokumentation:

import scrapy 

class DmozSpider(scrapy.Spider): 
    name = "dmoz" 
    allowed_domains = ["dmoz.org"] 
    start_urls = [ 
     "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", 
     "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" 
    ] 

    def parse(self, response): 
     filename = response.url.split("/")[-2] + '.html' 
     with open(filename, 'wb') as f: 
      f.write(response.body) 

Wenn ich ein paar Methoden für die Abfrage einer Datenbank oder etwas anderes definieren wollte, wie könnte ich darüber gehen, und warum?

Answer 1

Werfen wir einen Blick auf den folgenden Anwendungsfall - Ermitteln der URLs aus einer Datenbank. Verwenden Sie statt start_urlsstart_requests() method.

Beispielcode (mit MySQLdb Treiber direkt):

import MySQLdb 
import scrapy 

class DmozSpider(scrapy.Spider): 
    name = "dmoz" 
    allowed_domains = ["dmoz.org"] 

    def start_requests(self): 
     db = MySQLdb.connect(host="host", user="user" ...) 
     cursor = db.cursor() 

     cursor.execute("SELECT url from url_table") 
     requests = [scrapy.Request(url=row[0]) for row in cursor.fetchall()] 

     cursor.close() 

     return requests 

    def parse(self, response): 
     filename = response.url.split("/")[-2] + '.html' 
     with open(filename, 'wb') as f: 
      f.write(response.body)