Die scrapy sagt, dass:Was sind die Vorteile verwenden Scrapyd? doc
Scrapy kommt mit einem integrierten Service, genannt „Scrapyd“, mit dem Sie Ihre Projekte einsetzen können und ihre Spinnen steuern, um einen JSON Web-Dienst (aka hochladen.).
Gibt es einige Vorteile bei der Verwendung von Scrapyd?
Scrapyd ermöglicht es Ihnen, Scrapy auf einem anderen Computer als dem, den Sie verwenden, über eine praktische Web-API auszuführen, dh Sie können einfach curl oder sogar einen Webbrowser verwenden, um neue Projektversionen hochzuladen und auszuführen. Ansonsten, wenn Sie Scrapy in der Cloud irgendwo ausführen wollten, müssten Sie scp den neuen Spidercode kopieren und dann mit ssh einloggen und Ihren scrapy crawl myspider spawnen.
Scrapyd wird auch Prozesse für Sie verwalten, wenn Sie viele Spinnen parallel ausführen möchten; Aber wenn Sie Scrapy auf Ihrem lokalen Rechner haben und Zugriff auf die Befehlszeile haben oder eine Möglichkeit haben, Spider auszuführen und nur eine Spinne auf einmal laufen zu lassen, dann ist es besser, die Spinne manuell auszuführen.
Wenn Sie Spinnen entwickeln, dann wollen Sie sicher nicht scrapyd für schnelle Kompilier-/Testiterationen verwenden, da es nur eine Ebene der Komplexität hinzufügt.
Vor einiger Zeit benutzte ich Sellerie, um meine Spinnen zu kontrollieren. Was sind die Vor- und Nachteile dieser vs. Dass. – goh
Wie kann ich diese Web-API so sichern, dass keine Port-Scan-Leute über meine Scrapyd-Bereitstellung kennen lernen und nicht die gleiche API verwenden können? Ich weiß, dass ich um 3 Jahre zu spät bin, aber ich habe nichts gefunden, was meine Anfrage betrifft. – harkirat1892