TypeError: nimmt genau 1 Argument (0 gegeben) - Scrapy

Question

Ich arbeite mit scrapy. Ich möchte für jede Anfrage einen eindeutigen Benutzeragenten generieren. Ich habe folgendes:

"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36" 

Allerdings, wenn ich dies laufe ich bekommen:

class ContactSpider(Spider): 
    name = "contact" 

    def getAgent(self): 
     f = open('useragentstrings.txt') 
     agents = f.readlines() 
     return random.choice(agents).strip() 

    headers = {   
     'user-agent': getAgent(), 
     'content-type': "application/x-www-form-urlencoded", 
     'cache-control': "no-cache" 
    } 

    def parse(self, response): 
     open_in_browser(response) 

getAgent einen Agenten aus einer Liste der Form erzeugt

File "..spiders\contact_spider.py, line 35, in <module> 
    class ContactSpider(Spider): 
    File "..spiders\contact_spider.py", line 54, in ContactSpider 
    'user-agent': getAgent(), 
TypeError: getAgent() takes exactly 1 argument (0 given) 

Answer 1

getAgent() ist eine Instanz Methode und erwartet, die ContactSpider Instanz als ein Argument zu sehen. Aber das Problem ist, müssen Sie diese Funktion nicht benötigen ein Mitglied Ihrer Spinne Klasse sein - verschieben Sie sie in einem separaten „Helfer“/„utils“/„Libs“ -Modul und Import:

from helpers import getAgent 

class ContactSpider(Spider): 
    name = "contact" 

    headers = {   
     'user-agent': getAgent(), 
     'content-type': "application/x-www-form-urlencoded", 
     'cache-control': "no-cache" 
    } 

    def parse(self, response): 
     open_in_browser(response) 

See auch: Difference between Class and Instance methods.

---

Oder als Alternative gibt es eine scrapy-fake-user-agent Scrapy Middleware, die Benutzerprogramme nahtlos und zufällig drehen würde. User Agent-Zeichenfolgen werden von fake-useragent module bereitgestellt.