Übergabe der Domäne an den Scrapy Web-Crawler

Question

Ich baue einen Web-Crawler, bei dem der Benutzer die URL in ein Skript eingibt, das er zuerst ausführt, dann führt das Skript den Crawler mit der darin eingegebenen Domäne aus. Ich muss etwas putzen, aber ich muss den Protoyp in Schwung bringen. Ich habe den Code erstellt und was passiert, ist, dass das Crawler-Skript nach der URL fragt. Ich habe versucht, die Terminalbefehle zu benutzen, um sie einzugeben, aber ich denke nicht, dass mein Code damit kompatibel ist. Gibt es eine bessere Möglichkeit, Domänen, die von einem Endbenutzer eingegeben wurden, von einem anderen Skript weiterzugeben?

Ich führe es nur durch Ausführen des ersten Skripts über das Terminal. Einige helfen herauszufinden, wie man eine Domain als Variable übergeben kann.

Answer 1

die start_requests Methode verwenden, statt start_urls:

def start_requests(self): 
    yield Request(url=self.user_input) 

... 

Entfernen Sie auch die allowed_domains Klassenvariable, so dass die Spinne alle Domänen erlauben kann, die es braucht.

diese Weise können Sie nur die Spinne mit scrapy crawl myspider -a user_input="http://example.com"