So senden Sie Postdaten in start_urls der Scrapy Spider

Question

Ich möchte eine Website crawlen, die nur Post-Daten unterstützt. Ich möchte die Abfrageparameter in Post-Daten in allen Anfragen senden. Wie erreiche ich das?

Answer 1

POST-Anfragen können mit den Klassen Request oder FormRequest von scrapy erfolgen.

Verwenden Sie auch start_requests() Methode anstelle von start_urls Eigenschaft.

Beispiel:

from scrapy.http import FormRequest 

class myspiderSpider(Spider): 
    name = "myspider" 
    allowed_domains = ["www.example.com"] 

    def start_requests(self): 
     return [ FormRequest("http://www.example.com/login", 
        formdata={'someparam': 'foo', 'otherparam': 'bar'}, 
        callback=self.parse) ] 

Hoffnung, das hilft.