2015-06-23 6 views
6

Ich möchte mehrere benutzerdefinierte Argumente meiner scrapy spyder passieren, so dass ich versuchte, diesen Beitrag zu folgen: How to pass a user defined argument in scrapy spiderWie mehrere Argumente an Scrapy Spider übergeben werden (Fehler beim Ausführen von 'Scrapy Crawl' mit mehr als einer Spinne wird nicht mehr unterstützt)?

Allerdings, wenn ich den Rat dort folgen bekomme ich einen Fehler:

[email protected] scrapy crawl dmoz -a address= 40-18 48th st -a borough=4 
Usage 
===== 
    scrapy crawl [options] <spider> 

crawl: error: running 'scrapy crawl' with more than one spider is no longer supported 

ich habe auch mit verschiedenen Permutationen von Anführungszeichen versucht:

[email protected] scrapy crawl dmoz -a address= "40-18 48th st" -a borough="4" 
Usage 
===== 
    scrapy crawl [options] <spider> 
crawl: error: running 'scrapy crawl' with more than one spider is no longer supported 

Was ist der richtige Weg Parameter an die Scrapy Spinne passieren? Ich möchte einen Benutzernamen und ein Passwort für den Login/Scraping-Prozess des Spiders weitergeben. Danke für Anregungen.

Antwort

9

Nein scrapy Problem, denke ich. So interpretiert Ihr shell die Eingabe und teilt Token in Leerzeichen auf. Also, Sie dürfen keine von ihnen zwischen dem Schlüssel und seinem Wert haben. Versuchen Sie mit:

scrapy crawl dmoz -a address="40-18 48th st" -a borough="4" 
+0

Ich habe diese Option auch versucht. Ich benutze Ubuntu für den Fall, dass das wichtig ist, aber ich habe jede Permutation von Anführungszeichen an der Eingabe und den Namen der Eingaben versucht. Wenn ich etwas nicht verpasse, ist das, was Sie vorgeschlagen haben, genau das, was ich am Ende meiner Frage als ein Beispiel dafür habe, was ich bereits versucht habe? – sunny

+0

@Sunny: Sicher hast du meine Lösung versucht und auch nicht funktioniert? Es ist anders. Der Schalter "-a" akzeptiert ein Argument "key = value", aber die Shell verarbeitet die Eingabe vor "scrapy", und das Leerzeichen nach dem Zeichen "=" erzeugt zwei verschiedene Token, die von "scrapy" interpretiert werden Spinne. – Birei

+0

Ich habe einfach Ihre Zeile kopiert und eingefügt, und sie gab mir genau den gleichen Fehler wie das, was ich oben eingefügt habe. – sunny

Verwandte Themen