Wie benutze ich scrapy-jsonrpc mit Scrapy

Question

Ich brauche scrapy-jsonrpc um meine Spinnen zu überwachen. Ich habe Parameter in settings.py in meinem Scrapy Projekt hinzugefügt,

JSONRPC_ENABLED=True 
JSONRPC_LOGFILE=None 
JSONRPC_PORT=[6080, 7030] 
JSONRPC_HOST='127.0.0.1' 

aber wenn ich zu http://localhost:6080/crawler zeigen, funktioniert es nicht. Es scheint, dass der Web-Service nicht funktioniert, aber ich weiß nicht wie.

Answer 1

Ich glaube, Sie verwenden Scrapy 1.0+.

Die aktuellen Dokumente unter scrapy-jsonrpc sind unvollständig. Ihnen fehlen Installationsanweisungen.

In Scrapy 1.0 wurde der Webdienst von den integrierten Erweiterungen entfernt, so dass Sie ihn in Ihren Einstellungen aktivieren müssen.

Stellen Sie sicher:

• scrapy-JSON-RPC installieren (zum Beispiel pip install scrapy-jsonrpc)
• haben die Verlängerung erklärt,

z.B.

EXTENSIONS = { 
    'scrapy_jsonrpc.webservice.WebService': 500, 
} 

• JSONRPC_ENABLED=True
• der Rest Ihrer Einstellungen für scrapy-JSON-RPC (thos in Frage sehen gut)